尤文简公祠坐北朝南,位于天下第二泉南侧。平面呈纵向长方形,两进三开间,遂初堂南侧、北侧各有一天井。祠堂由南至北依次排布大门、遂初堂、万卷楼(两层)。大门为圆洞门,进门北侧为遂初堂,遂初堂北侧为天井,天井北侧为二层三开间的万卷楼,该祠现作茶室用。尤文简公祠始建于清乾隆间,咸丰十年(1860),毁于兵火。光绪二十九年(1903)由二十六世裔孙尤侗重建,当时筑室四进,计十四楹。现存两进,占地158.14平方米,建筑面积187.9平方米。正厅面阔三间,额“遂初堂”,其匾为尤桐三子尤巽照重立,朱孔阳书;其下对联为今人书清顾光旭句。堂之北,隔天井为祠楼,额“万卷楼”,尤桐书。按:遂初堂及万卷楼均系尤袤所建建筑名称,当时分别在尤袤府第及墅园“乐溪居”内,此处为移用旧名,以志纪念。