春秋时为杨越之地，秦始皇三十三年（前214）属南海郡。
东晋义熙五年（409）为义安郡。
梁东阳州。
隋焬帝大业三年（607）罢州复为义安郡。
明初系海阳县光德乡丰政都潭澳村。
清乾隆三年（1738）属丰顺县三图北胜社潭澳乡。
民国初属第五区，辖沙田乡、小胜乡。
1958年9月改称潭江公社；同年12月撤丰顺县，潭江公社归大埔县管辖。
1961年复设丰顺县，潭江公社属丰顺县。
1962分出小胜、沙田公社。
1978年析出官上、官溪、官下、然新、银溪、社輋、箭竹、凤坪8个村设立潭山公社。
1983年改为区。
1984年建置镇。
2003年7月15日，潭山镇并入潭江镇。