坊间早些年曾有传闻，说徐大学士虽然俊雅灵慧，智谋过人，可品性却似乎有些不堪。

据说他当年为了攀附内阁首辅张敬廷，不惜休妻弃子，但这些只是传闻，公开说辞是徐大学士的前妻和儿子福薄命短，早在数年前便故去了，他不得已方才续弦的。

而徐大学士自从娶了张家女后，哪怕夫人数年无所出，也不曾纳妾，还温柔体贴，从不流连花丛，更不沾惹风月，是世间难得一见的好郎君。