谦公祠座落于潭山镇潭山村庙下自然村，是庙下刘氏子孙纪念明朝洪武年间，徙居庙下肇基祖刘彦谦而建，经清朝乾隆，嘉庆年间两次修缮，祠堂成庄重宏大，气势宏伟之建筑。谦公祠占地1650多平方米，坐东向西，为三栋进两天心设计，进深长63米，通面宽22.5米，正脊高9.5米。前栋为门楼，门楼正面四柱三开间，中开大门，两边开侧门，门楼两旁有撇山影壁，门楼前石广场两边放有石狮子。进入大门有一大天井，天井用麻石铺成，二栋是官厅，是庙下刘氏先人议事之地，大厅八柱七开间，两边墙上嵌有清朝重修祠堂乐助碑，中厅往里走有一小天井，天井砌有石栏杆，中开过道，经石台阶上到祖堂，祖堂八柱七开间，祖堂置有刘氏先人祖龛。整个祠堂墙体是高大雄壮的马头墙，屋柱底部均置有雕花石
环清园座落于潭山镇潭山村，建于清朝乾隆三十三年（1768年），距今有两百四十多年历史，是庙下刘氏先祖为教书育人而建。解放后，政府曾在此设立潭山中心小学，办学多年后迁走。环清园占地约八亩，园内原有假山怪石、竹林花园，有房屋数进，两池三桥一阁，疏活水引流入池。其中，石池建筑工艺尤为精湛，石池四周用麻石砌成，上面并围有石拦杆，池底全部铺有麻石，池中建有亭阁，亭阁基础用麻石砌拱桥而成，并用麻条架桥和南北房屋相连，亭阁上面是木制结构，亭阁板壁上嵌有木雕，阁顶为角楼设计，四个角上分别吊有铃铛。整个园林精致典雅，富有诗情画意，体现了明清时期江南园林特色。环清园现存有上世纪九十年代建的两层楼房一幢，平房数间，还有清代古屋一栋，东厢房仍在，石池完好，
潭山古建筑群(含潭山刘氏谦公祠、儒溪陈氏宗祠、孝子祠、善翁祠、店上刘氏宗祠、四芳翁第)宜丰潭山历史上的街市曾在茜槽，俗有“先有刘十万，后有潭山街”之说，岳飞抗金时期刘十万被一把火烧光，后来就在当时的芦苇洲建立街市（即现在的集镇）。南宋时期形成了完整的集市（现在的老街），老街上至熊家上店子、下至台阶下，全长600多米。有熊家尾出口、万寿宫出口、横街和台阶下共四个进出口，另有八条巷子。整街为麻石铺地，街中下水道错落有致，以前街市兴旺时排水系统相当好。房屋有纯木质结构、砖木结构，有的封檐到顶，各具特色。宜丰县潭山镇千年古村伏溪村古树、古长廊、古屋、古井彰显出绿色古村特有魅力。伏溪村历史悠久，境内有吴氏宗祠、接官亭、上庵和尚庵、忠孝牌坊、黄
桐树岭塔墓群位于宜丰县潭山镇院前村，年代为清。2023年12月，被公布为宜春市第二批市级文物保护单位。保护范围：以古墓葬范围，东、南、西、北面各向外延伸 5米。
文武世芳坊位于宜丰县潭山镇，年代为龙岗村。2023年12月，被公布为宜春市第二批市级文物保护单位。保护范围：明。
均翁祠和砖雕画壁位于宜丰县潭山镇店上村，年代为明。2023年12月，被公布为宜春市第二批市级文物保护单位。保护范围：以古建墙基为界，西面向外延伸5米。
洑溪吴氏宗祠位于宜丰县潭山镇洑溪村，年代为清。2023年12月，被公布为宜春市第二批市级文物保护单位。保护范围：以古建墙体为界，南面向外延伸5米。
在江西省潭山镇店上村胡家垅，原为张氏宗祠，1931年3月底成立的宜丰苏维埃政府设此。该祠四周为砖砌封焰高墙，面阔5间，进深2栋。前为门厅，中为天井，后面是厅堂和寝室，旁有配屋与水井。今尚完好。
西平院水口桥位于潭山镇南溪村西南面入山水口。此地原有“西平禅院”，今废。为单孔石桥，横跨西溪。元大德四年(1300)建。桥长8.5米，宽2.74米，高3.4米，跨4.46米，拱矢比为2:1。桥拱花岗石砌，结构为纵向分节单券并列砌券，横向12条缝线并列、纵向石缝线呈弓形，拱顶部中央用榫卵石条搭连。全拱13层石块，单数层6块，双数层7块。桥石上分别题刻“西平院东堂囗徐绍基命匠修此石桥......便益往来.....万世常存囗大德四年十月时记”，并有建桥共费“工食抄四百五十贯正”字样。