元、明两朝为蒙古游牧地区。
清乾隆二十七年（1762），在此建城，取名辑怀城。
1928年，设乾德县后，称为古牧地街。
解放后，与1950年成立古牧地区。
1954年乾德县政府驻地从三道坝移驻古牧地，同年乾德县改名米泉县，古牧地属一区所辖。
1958年成立东风公社，驻地古牧地，设立古牧地街道居民委员会。
1960年5月古牧地街道委员会从东风公社划出，改名为五一人民公社。
1964年将五一公社改为米泉镇。
1976年迁驻上沙河村。
1978年更名为古牧地公社，1984年成立古牧地乡，1986年古牧地乡同米泉镇合并，成立古牧地镇，沿用至今。