豫园，在老城县衙的西边，说起历史来，可追溯到明代万历年间，原本是一个私家园林。难道说在万历年间，这上海县就很富有和繁荣了吗？不是，实际上，那个时候这里的地价便宜，人工便宜，加上这里是当地出仕的一个姓潘的老家，这个园子实际上是在外当官的潘允端给自己母亲修的。

明代为官，可是不敢轻易张扬的，当时叫“官不修衙”，后世有人解读为当官的为了表示自己清廉，故意不修衙门，其实，这个说法是不准确的。