明属蛮夷长官司水特姜图、罗文水图和沿河祐溪长官司卜龟坪图及水德江长官司德江图、大堡图、瓮济图共同管辖。
清属思南府属特姜图第八甲（高山桥）、罗纹图第九甲（冷水溪）、卜龟图第四甲（细草池）第五甲.（鹿溪）第九甲（野猫塘），安化县德江图第十甲（错溪塘、方家寨）、大堡图第五甲（方家寨）第七甲（麻阳河）、瓮济图第三甲（错溪塘）。
民国十九年（1930年）8月，置方家乡，隶稳坪区，下置闾、邻。
民国二十四年（1935年）6月，撤闾，建7个保。
民国二十六年（1937年）11月，方家乡并入杉树乡。
民国三十一年（1942年），析置和平联保。
民国三十二年（1943年），联保改乡。
1953年1月，置方家、旋溪、高山、冷水4个乡。
1956年3月，方家乡并入高山乡。
1959年1月，旋溪、高山、冷水乡各改为生产管理区。
1961年9月，高山、冷水、旋溪生产管理区合并成立商山公社。
1963年3月，长丰区公所迁驻铁汞坝，析置高山、冷水、旋溪3个公社。
1992年10月，高山、冷水、旋溪乡合并为高山土家族乡。
2012年12月11日，撤销高山土家族乡，设立高山镇。