1950-1957年，先后属杨桥区边泉乡（上禾、河边村一带）、上墩乡。
1958年10月成立回辉管理区。
1961年8月改称回辉生产大队，属嵩阳（红旗）人民公社。
1963年2月与伍村大队合设伍村（小）公社，属杨桥区。
1966年7月复名回辉生产大队。
1984年4月成立回辉回族乡，属倚伴区。
1988年1月成立回辉办事处。
2001年1月办改为回辉村委会。
2008年10月改为回辉社区居委会，属嵩阳镇。
2011年3月起属嵩阳街道。