南宋咸淳间（1265～1274）属於潜县潜川乡，明初属潜川后乡，清嘉庆十七年（1812）西乐庄属潜川后乡。
民国初期属紫溪乡，民国21年（1932）属乐平乡，民国27年（1938）属紫云乡，民国36年（1947）属紫云乡至解放。
1950年为西乐乡西乐村，1958年为昌化县潜川公社乐平管理区西乐生产队，1960年9月属临安县，1961年为潜川公社西乐生产大队，1972年为乐平公社西乐大队，1984年为乐平乡西乐村。
2007年村规模调整，西乐村规模不变，辖6个自然村。
2011年1月为潜川镇西乐村。