据民国十一年《新登县志》记载为九岭乡施公畈村、余家庄村、桃花岭村；1949年5月解放后称双龙乡施公畈村、余家庄村、桃花岭村；1950年为桐庐县双义乡二村。
1956年施公畈、余家庄先与罗桥成立罗桥低级社，后加桃花岭为四联高级社，1956年下半年双义乡并入九岭乡。
1959年8月四联生产队从桐庐县九岭公社划入，为新登公社六渚耕作区四联生产队。
1961年7月四联析分为四，为六渚公社余家庄、桃花岭、施公畈三个大队，罗桥大队从本境析出。
1984年3月为渌渚乡施公畈、余家庄、桃花岭三个村。
高山自然村在民国时为新登县在桐庐飞地。
2007年12月行政村调整，将原施公畈村、余家庄村、桃花岭村三村合并为现桃花岭村至今。