民国初期，沿袭清制，武威县的行政管理区按水系划分为六个渠，即黄渠（黄羊河水系）、大渠（杂木河上游）、杂渠（杂木河下游）、金渠（金塔河水系）、怀渠（西营河上游）、永渠（西营河下游）。
民国24年（1935），将六个行政管理区划分为2个镇、12个乡，分属张义乡九保、靖边乡二保。
中华人民共和国成立初分属张义区红沟乡四行政和靖边区大墩乡三、四行政村。
1956年撤区并乡属黄羊乡并成立黄羊高级社。
1958年人民公社化时属黄羊公社，为三大队。
1961年区划调整时成立广场公社，命名为黄羊大队。
1983年社改乡时设黄羊村民委员会，属黄羊乡。
1985年撤区并乡建镇属黄羊镇。