然而，天不假年，时不我待。不久，隆武帝在汀州被清军俘获，绝食殉国。消息传来，全军痛哭，声震云霄。刚建立起的新军，因大势已去，又缺粮饷，人心涣散。张家玉无奈之下，只好解散军队，于八月回到东莞家乡。那时的他，心灰意冷，形容枯槁，以为此生再无用武之地，只想在故乡了此残生。

但建奴没有给他安宁。

十二月，建奴攻破广州，制造了历史上著名的“广州之屠“。数十万生灵涂炭，珠江水都被染成了红色，空气中弥漫着浓烈的血腥味，数月不散。建奴两广总督佟养甲多次派人到张家玉家中劝降，许以高官厚禄，封王拜爵。那些使者带着金银珠宝，带着清廷的诏书，带着佟养甲的亲笔信，一次次踏进张家玉的家门，言辞恳切，威逼利诱。