后来又因为形事残暴，惹得民怨沸腾，昭宁帝收到很多弹劾他的折子，实在气恼，可念在他是自己唯一同母所处的弟弟，即便做了太多错事，昭宁帝还是对他疼爱有加，不忍心处罚。

为了让他别再生事，昭宁帝这才旨让他回朝，放在自己眼皮子底下看着。

要他回京的圣旨去年就到了封地，结果又是寒冬又是瘟疫，再加上迁都，诸事繁杂，这才一直拖到了现在。