明清时，上义属古名都上，义社（约）。
民国十八年（1929年），属第一区上义乡。
民国三十年（1941年），属第一区尚好乡。
民国三十四年（1945年），改为广义乡。
中华人民共和国成立初，属第二区好义乡。
1952年，属第七区。
1957年12月，成立上义乡。
1958年10月，属好义公社。
1961年4月，分立上义公社。
1963年3月，并入好义公社。
1973年4月，再次恢复上义公社。
1983年9月，撤社设区。
1987年4月，改设上义镇。