吴氏的爷爷是麓山书院的山长，朝中许多大臣都是他的学生，可谓桃李满天下，而他的父亲则是大理寺卿，官拜三品，并不比大老爷差，吴家虽不如李家家世显赫，却也是妥妥的朝庭新贵，书香门弟，吴氏又是吴家唯一的嫡女，吴大人年过三十才得此女，一样爱若珍宝，老四李承彦在翰林院，也是吴老太爷的学生，老太爷与李老太爷又曾是同窗，两家也算世交。