先秦时期，山城街道先后属倪、小邾、楚等国。
秦属合乡县。
两汉属昌虑县、合乡县。
三国属蕃县、合乡县。
晋至南北朝属昌虑县、合乡县，北齐划入蕃县。
隋开皇六年（586）改蕃县为滕县。
宋以后先后属滕县、滕阳县、滕州，属济宁府、兖州府。
民国时期先后属滕峄边、费滕峄、双山、麓水、白彦、滕等县。
1983年11月，区划调整，由滕县改属山亭区管辖，1984年3月，社改乡，由山亭公社改称山亭镇，2001年2月26日，撤山亭镇，以原山亭镇行政区域设山城街道办事处。