民国二年（1913年），小江湖街道境域属宝庆县。
民国二十七年（1938年），属邵阳县安和镇。
1949年10月，属邵阳县一区仁义乡。
1951年，属邵阳市郊区城东乡。
1958年9月，乡改公社。
1960年4月，东站办事处与青龙桥办事处以及城东人民公社合并组成东风人民公社。
1962年10月，市区撤社设办事处，分属东风办事处和城东人民公社。
1977年12月，设立东、西、桥头、郊区4区（县级），设立工业街街道，属东区，办事处驻田江路。
1979年10月，更名为小江湖街道。
1981年11月，城东公社长岭、双清2个大队划入小江湖街道，成立长岭、双清2个居民委员会。
1997年10月，撤销东区、西区、郊区，调整设立双清区、大祥区、北塔区，属双清区。
2002年，13个居民委员会调整为8个社区。