据传说，这批银杏树是明朝朱元璋的五儿子周王朱橚亲自下令所栽。坞州作为朱橚的封地，曾经将此作为副府，每年秋天会到此住上一阵子。

到了清晚期，钦差大臣左宗棠奉命到新疆收复伊犁疆土，路过此地时特意赋诗一首，并命令他的好友红顶商人胡雪岩斥资大兴土木，打算在此安度晚年。谁知还不等建成，左宗棠在闽海病故，成为绝唱。