旧称“东大岗”。
中华人民共和国初年，属讷河县“农字段十二区”。
1915年划归克山县，隶属第二区。
1929年12月，划归克东设治局管辖。
东北沦陷后，1939年设玉岗村。
1945年“九三”抗日战争胜利后，设置玉岗区，1949年改为第六区，1955年复称玉岗区。
1956年4月，撤区划乡，分设玉岗、联合、新农、新兴4个乡，1958年9月合并成立玉岗人民公社。
1961年6月，将东部地区划出成立新农公社。
1984年将玉岗公社改为玉岗乡。
1996年撤销玉岗乡，设置玉岗镇，名称沿用至今。