明清时期，仰山叫泥泞岗，属进城乡（乡署设罗坊）大桥围。
清中叶，因从靖安东源请来一尊仰山太子雕像，供奉在老街万寿宫东边的仰山太子殿中，此后更名仰山。
1929年后，仰山属第四区（区署驻上富），称仰山联保；1932年，仰山属第五区（区署驻上富），首称仰山乡。
1945年，仰山为全县24乡镇之一。
1946年，全县合为17乡镇，东溪乡并入仰山乡。
1949年仰山乡仍属第五区（区政府驻上富）。
1958年全县并为12个农村人民公社，仰山为其中之一。
1968年与罗坊合并，1972年与罗坊分开，仍名仰山人民公社。
1983年实行乡政府建制，仰山为全县15个乡镇之一。