自古以来，就是道、佛两教的圣地，环山有寺、庙、庵、观两百多处。

民间传说，火神祝融就是衡山山神，被当地尊称为南岳圣帝，更留下许许多多脍炙人口的故事。

不过到了今时今日，衡山已经没有什么有名的道场存在了。

在风水界，远不如茅山、龙虎山等地来得风光。

现在的衡山，虽然寺庙、道观或者庵堂依然众多，不过大多数都跟玄门没什么关系，只是作为旅游景点或者当地民众烧香祈福的所在。