秦属会稽郡娄县。
梁天监六年（507）属信义郡信义县，大同二年（536）属昆山县。
唐天宝十年（751）昆山县治移此。
元朝为昆山州治。
清雍正二年（1724）分昆山县置新阳县，分属2县，为两县县治所在地。
宣统二年（1910），分属玉山市及巴城、周墅、陆家桥、正义、蓬阆等乡。
1912年，属昆山县。
1929年，境分属昆山县第一、第二、第八、第九、第十区。
1945年，分属鹿城区、蓬阆区、巴城区、正义区。
1947年，境分属玉山镇及城北、城南，茜步、正义、南星、夏溪等乡。
1949年5月，属昆山县城区。
1956年9月，为县属玉山镇。
1958年，城北、城南乡与玉山镇合并建马鞍山公社。
1959年6月，撤马鞍山公社分建玉山镇。
1986年10月，城南乡并入玉山镇。
2000年8月，城北镇并入玉山镇。
2003年12月，正仪镇娄江以南7个村和陆杨镇西南部（杨林塘以南）3个村并入玉山镇。
2012年，经批准，昆山高新区与玉山镇实行“区镇合一、以区为主”管理体制，保留玉山建制镇。