1934年称港源镇。
1946年改双岩乡。
1949年5月建政时称双岩乡。
1950年属白姆、麻阳两乡。
1956年两乡合并为红旗乡。
1958年初属跃进乡，10月撤销武义县并入永康县，属下杨公社白姆管理区。
1961年10月属武义县白姆公社。
1983年7月改为白姆乡。
原后树乡在解放初属履坦区家山乡。
1950年建立后树乡。
1956年3月后树、要巨、桃溪滩三乡合并称胜利乡。
1958年10月撤销武义县并入永康县，属下杨公社白姆管理区。
1961年10月属武义县后树公社。
1983年7月政社分设成立白姆乡人民政府。
1992年5月由白姆、后树两乡撤并建立白姆乡，并沿用至今。