尤其太子，太子从小庸碌，读书不行，习武不行。皇帝曾多次在私底下表示忧虑，但顾忌皇后母族强大，又念及太子年幼，只能暂且将废黜太子的念头压下来。

等到晏贵妃失势后，有人污蔑谢观钰非皇家血脉，致使他差点被盛怒中的皇帝赐死。

宫中私下传言，当时是皇后开口，让谢观钰暂且免于一死。

后来长公主出面，找出了谢观钰是皇家血脉的证据，但皇帝仍然将对晏贵妃的憎恶转移到谢观钰身上，将他逐出皇家玉蝶。