明代时期，属方山都交古里。
清道光年间（1821年—1850年），属楚冲上里。
清光绪年间（1875年—1908年），属忠防区。
民国三十六年（1947年），属忠防乡，人民政府驻地忠防。
民国三十八年（1949年）7月，属4区。
1956年，属桃林乡管辖。
1957年，桃林铅锌矿设此，成立县属工矿镇。
1958年，划归忠防人民公社管理。
1960年，成立桃矿公社。
1968年，合并到忠防公社。
1972年，改桃矿镇。
2004年12月，撤镇建立桃矿街道。