1984年由原临沂县城关镇析出设立兰山街道。
行政区划代码是371302。
1958年建红星公社，1959年更名为涑河公社，1984年更名为大岭乡，1993年改称大岭镇。
1996年，兰山街道面积20.2平方千米，人口3.5万人，辖水田、东关、西关、北关、东北园、书院、煤山、朝阳、东风、后十里堡、前十里堡、后西北园、田家红埠寺、赵家红埠寺、小娄庄、曹家王庄、张家王庄、林庄、小李家庄、宋家王庄、前西北园21个行政村；大岭镇面积70.7平方千米，人口7.9万，辖大岭、北沙埠庄、砚台岭、二十里堡、角沂庄、沟上、张家朱许、董家朱许、杜家朱许、蒋家王平庄、曹家王平庄、小官路、八里屯、葛家王平庄、南沙埠庄、小岭、北道、南道、毛家庄、西张庄、韦家屯、前饮宿、后饮宿、颜家红埠寺、全家红埠寺、叶家红埠寺、西墩、东墩、杭头、道沟、南郭庄、洪沟崖、庙上、后洞门河西、密家庄、刘家朱许、响河屯、前洞门、后洞门河东、城后、小城后、马埠岭、古城、房家村、城前、大姜家村、小姜家村、前店子、马宅子49个。
2000年，将大岭镇前钦宿、后钦宿、葛家王平庄、曹家王平庄、蒋家王平庄、八里屯、小官路、西张庄、毛家庄、沟上、前韦家屯、后韦家屯、韦家屯等13个村划归兰山街道管辖;兰山街道辖34个行政村，18333户48478人;大岭镇辖38个行政村，16986户60600人。
2001年，撤销大岭镇，并入兰山街道。
2002年，辖72个行政村、18个居委会，33728户112211人，面积90.91平方千米。