唐代属同德乡。
宋代改通德乡。
元、明、清沿袭宋制。
1949年属岩寺区丰山乡。
1950年5月，属歙县第三区。
1952年8月，属潜口区灵山乡。
1955年12月，随灵山乡并入呈坎乡，属岩寺区。
1957年冬至1958年春，属呈坎乡灵山农业合作社。
1958年10月，属岩寺人民公社。
1959年4月，属岩寺公社呈坎管理区。
1961年1月，成立呈坎人民公社，设灵山大队。
1983年3月，撤销呈坎公社，成立呈坎乡，设灵山村民委员会。
2001年8月，呈坎撤乡建镇，灵山村属呈坎镇至今。