白土山一带，清代属齐齐哈尔副都统辖区。
中华人民共和国时期，先后隶属龙江县第三区和第二区管辖。
东北沦陷后，初隶朱家坎保，1938年4月改隶朱家坎村。
1945年“九三”抗日战争胜利后，1946年6月隶属朱家坎区，1948年改隶第三区。
1954年设白土山区。
1956年3月，并村划乡，设白山乡。
1958年靠山乡并入，同年9月后道老乡并入，成立白山人民公社。
1960年析置东部地区成立黑岗公社。
1984年5月，白山公社改为白山乡。
2013年10月，撤乡设镇，改为白山镇，名称沿用至今。