慈安观所在的山原本叫三日山，据说翻阅这座山需要整整三天三夜。慈安观名气越来越大之后，三日山便随着改名，变成了慈安山。

在慈安山后山，靠近山顶处，有一片平整的空地，空地上建了一个小小庭院，木屋竹亭，清幽怡人，是个消夏避暑，吟风弄月，修身养性的好去处。

庭院门口，茅草顶下挂了一方牌匾，黑底白字，写的是“忘俗”。