西汉至十六国“五凉”时期，张义镇境域属武威郡张掖县，张掖县治所即今凉州区张义镇一带。
北魏至隋初，属武威郡林中县。
元代时期，属永昌路西凉州。
明清时期，先后归凉州卫和武威县。
民国元年（1912年）后，属武威县张义乡。
民国三十八年（1949年）9月后，属张义区。
1952年7月，属第十二区（张义）。
1956年1月，属张义、中路、沙金台乡。
1958年10月，张义、中路、沙金台乡合并成立张义公社。
1962年，分设为张义、中路、上泉公社。
1983年7月，分属张义、中路、上泉乡。
2002年8月，张义撤乡建镇。
2004年7月，中路、上泉并入张义镇。