清代，属宁古塔副都统管辖。
清光绪二十九年（1903）设置绥芬厅后，属由义社辖区。
清宣统元年（1909），改隶东宁厅管辖。
1917年隶属东宁县第二区。
1934年改为第五区，设老黑山保。
1939年设老黑山村。
1945年设置老黑山区，1948年10月改为第六区。
1956年5月，撤区划乡，分设老黑山、太平沟、二道沟3个乡。
1958年，将3个乡合并成立老黑山人民公社。
1983年，改为老黑山乡。
1985年3月7日，改设老黑山镇。
2001年1月，黄泥河乡并入老黑山镇。
名称沿用至今。