民国时期属巷口镇第11保。
1951年1月从巷口镇析置广杨乡，辖杨家村；1958年9月建广杨人民公社，称该公社为繁荣管区；1961年繁荣管区改为繁荣大队；1981年地名普查时将繁荣大队更名为杨家井大队；1984年撤社建广杨乡，辖杨家井村；1992年9月撤广杨乡并入巷口镇；1998年10月从巷口镇析置广杨乡；2003年12月撤广杨乡并入巷口镇；2004年6月光辉、红旗村并入杨家井村并更名为杨家村。
杨家村村民委员会于2004年村镇建制调整中成立，2017年12月1日撤巷口镇改为凤山街道和芙蓉街道，隶属之，地名沿用至今。