元代时期，祁连镇境域为西凉府所辖。
明正统三年（1438年），为古浪守御千户所辖。
清代时期，由凉州卫管辖。
清雍正时期，属武威县。
1950年5月，为天祝自治区第五分乡。
1956年12月，武威县南山乡并入。
1958年12月，设祁连公社。
1959年2月，划给肃南县；同年8月，又划归天祝县。
1971年12月，划入武威县。
1981年12月，又划归天祝县。
1983年5月，撤销公社，设天山、录述乡，属祁连区。
1985年10月，撤区并乡，为祁连乡。
2018年3月，祁连乡撤乡建镇。