偏这样的流言最难辩驳，哪怕李皇后这回就将皇五子送出来，也会叫人说，李皇后这是心虚，是以李皇后到了这个时候直气个仰倒，以为高贵妃，陈淑妃，并昭美人个个都可疑，却又吃不准是哪个，待要查这个传言的来源，未央宫中的宫人总有几千之巨，哪里摸得过来，只得杖毙了七八个宫女太监，这才将流言在明面上禁住了。

护国公夫人唐氏在宫外也听着这个流言，她是知道自己这个女儿的，虽能料理庶务，到底在手腕上欠缺了，去母留子的主意又是她给出的，竟是信的真真的，待得椒房探视时，竟把李皇后也埋怨上了，因道：“殿下如何不与妾商议会回？虽昭美人那个狐媚子留不得，也该寻别的错处才是，妾就不信，她一丝儿错漏也没有，殿下偏在她宫中动手，岂不是反显得她无辜。虽殿下是嫡母，照应个丧母的庶子是应有之义，可前头才叫凌采女摔了，殿下就将孩子抱了来，岂不是叫人多想！”