晋至宋称渔浦，宋至明为咏歌乡灵峰里（图、村）。
清康熙十二年（1673），为江南咏歌乡灵峰里。
清光绪年间（1875—1908），为东南区，狐岭北墅溪区域为八角十四庄，渔溪区域为八角十三庄。
宣统二年（1910）后，与里山区域合并为渔鲤乡。
民国初承沿清制。
1935年后，与里山析分，取原渔溪、墅溪之首字，为大源区渔墅乡。
1950年，以狐岭下为界，北部沿江区域设渔溪乡，南部设五岭乡。
1950年6月23日，杭县东清乡小沙村划入渔溪乡。
1956年，二乡合并为渔山乡。
1958年10月1日，与里山合并建东风人民公社。
1960年1月，并入太平大公社，为里山管理区。
1961年7月，撤太平大公社，析建里山人民公社。
1962年6月，又从里山公社析出建渔山公社。
1984年3月，改公社为乡。
2007年12月，五丰村划出归入东洲街道。