民国时期，先后属第四区和潘家乡。
1949年10月，属三区。
1950年6月，属四区。
1952年7月，区划调整，为第六区。
1956年7月，撤区并乡改为潘市乡。
1958年9月，改为灯塔人民公社。
1959年5月，更名为潘家埠人民公社。
1961年8月，改为潘家埠区公所，辖潘家埠、下七渡、塘弦湾等7个公社。
1964年3月，撤潘家埠公社，建石洞源公社。
1984年4月，改公社为乡。
1985年1月，改塘弦湾乡为潘市镇。
1995年5月，祁阳撤区并乡建镇，并下七渡、马鞍岭、潘市、石洞源、松林5个乡镇，建立新潘市镇。
析出梅溪、楼梯两乡，并建梅溪镇。