石柱山村村民委员会古属湖南石门县；清雍正十三年（1735年）后属长乐县礼教乡石柱山保；民国三年（1914年）后属五峰县尚义乡石柱山保；新中国成立后，1950年属五峰县第三区石柱山行政村；1958年属渔洋关人民公社石柱山管理区新生大队；1961年属渔洋关区石柱山公社新生大队；1975年属石柱山人民公社新生大队；1984年属渔洋关镇西流溪乡石柱山村；1996年属渔洋关镇石柱山村；2002年属渔洋关镇横溪河村两个小组、黄土包村并入后的石柱山村。