解放初属蒙化县第五区，设蒙化县第五区回龙山乡，1958年设巍山县碧溪乡公社回龙山管理区，1961年分归南涧县；1963年改为碧溪乡回龙山、杏子山公社，1970年改为碧溪公社回龙山大队，1984年两大队合并设碧溪区回龙山乡；1988年改为碧溪乡回龙山行政村，建立回龙山村公所；1991年社教第二次土地延包时期分为回龙山、杏子山村公所，2000年10月村改委改为回龙山村民委员会至今。
2010年前驻地在回龙山，现搬迁至子万山。