秦始皇二十六年（公元前221年）改邑称县，娄邑易名娄县，治所设于今城北镇同心村，玉山地区属娄县。
西汉末年王莽将娄县更名娄治，玉山地区属娄治。
东汉时期复名娄县，玉山地区属娄县。
梁朝梁武帝天监六年（507年）分娄县置信义县（县治设在今正仪镇），玉山地区仍属娄县。
大同二年（536年）娄县改为昆山县，县治设在华亭（今上海市松江县西北）境内之小昆山，玉山属昆山县。
隋朝开皇九年（589年），昆山、信义俱废地属苏州。
十八年复置昆山县，玉山属昆山县。
唐朝天宝十年（751年）分昆山南境置华亭县，遂迁县治于马鞍山阳（今玉山镇人民路北首），玉山地区为县治所在地。
元朝元贞元年（1295年）升昆山为州，县治改为州治，玉山为州治所在地。
明朝洪武二年（1369年），降昆山州为县，州治复为县治，玉山为县治所在地。
清朝雍正二年（1724年），分昆山置新阳县，县治设于昆山县治东南一里蓴菜桥（今莼菜桥）东，两县同城分治，玉山为昆新两县县治所在地。
民国一年（1912年），昆新两县合并，仍定名昆山县，玉山仍为昆山县治所在地。
民国二十三年（1934年），昆山县10个自治区合并为8个自治区，玉山地区为第一区。
民国三十一年（1942年）2月，昆山县划为9个区63个乡（镇），玉山为第4区。
民国三十四年（1945年）9月，抗日战争胜利，昆山县改为8区64乡镇，玉山镇地区为第一区。
12月14日，改冠区名，玉山区改名“鹿城”区。
民国三十六年（1947年）2月，实行新县制，全县划3个区，1个示范镇，1个实验乡，6个直属乡（镇），玉山镇为“示范镇”。
1949年，昆山县划分5个督导区，玉山镇属第2督导区。
同年5月13日，昆山解放，建立区乡人民政权，昆山县县划分6个区（巴城、正仪、茜墩、张浦、蓬朗、城区），27个乡、镇（乡镇划分沿用旧区划），玉山镇属城区；同年11月，昆山县将6区改设10个区，玉山镇属城区。
1950年1月，昆山县全面废除保甲制度，划小区乡，城区更名城郊区，玉山镇属城郊区。
1951年6月，昆山县调整区划，撤城郊区，玉山镇改为城区。
1954年9月，昆山县划为8个区，1个县属镇（陈墓镇），8个区属镇，玉山镇属城区。
1956年3月，昆山县划为5个区，1个县属镇（陈墓镇），玉山镇属城区。
同年年底，撤区并乡，全县划为17个乡5个县属镇，玉山镇为县属镇。
1958年9月，昆山县建“人民公社”，实行政社合一，时城南乡、城北乡、玉山镇合并建立马鞍山人民公社。
1959年6月，昆山县人民政府撤马鞍山人民公社，建立城南、城北人民公社和玉山县属镇。
1986年10月，玉山镇经江苏省人民政府批准，城南乡与玉山镇合并，实行镇管村体制。