然而，命运的转折却在他七岁那年到来，父亲因外出考察产业，在途中遭遇山贼，不幸遇难，母亲知道消息后悲痛过度，不久后也追随父亲而去。何家的产业也因父亲的离世而逐渐衰败，从此家中无了主心骨，留下他一个幼子也挑不起大梁。

可是瘦死的骆驼比马大，何家在多年经营下仍有不少积蓄，终究引起了周遭人的觊觎。不久之后，何家被诬陷参与了违背律法的生意，家中产业被官府没收，他也从此沦为了罪户之子，从此与科举之路绝缘。