1936年为大渔塘、江南2村，属会龙乡。
1949年属湘源区。
1950年并为渔江村，取大渔塘、江南2村各一个字得名，属湘源区。
1952年改渔江乡，属兴安县第二区。
1958年改渔江大队，属上游公社。
1959年属界首公社。
1961年属会龙公社。
1962年改渔江公社，属湘漓区。
1966年复改渔江大队，属湘漓公社。
1984年改渔江村，设渔江村民委员会，属湘漓乡。
1987年改渔江村公所。
1995年复设渔江村民委员会。
1999年属湘漓镇。
2017年更名渔江村村民委员会，沿用至今。