宋淳熙年间，卢氏从鄱阳迁此建村。
取名“鹏山”。
因谐音演变而成彭山。
中华人民共和国成立前属嵩市乡，中华人民共和国成立初属二区嵩市乡。
1952年改为第二区彭山乡，1956年撤区并乡，并入嵩市乡。
合作化时由五个初级社合并成一个高级社。
1958年人民公社化，为彭山大队，1972年大队迁往外小源，大队名称沿用彭山大队。
1984年体制改革，为彭山村民委员会。
1988年，撤销村委会，组建村公所，为彭山村公所，作为嵩市镇人民政府的派出机构。
1993年撤销村公所，为彭山村民委员会，名村沿用至今。