卫韫三岁的时候，正值大皇子去世，齐妃备受污蔑，被无限期的监禁于长乐宫里。

等一切尘埃落定之时，齐妃便去了。

之后，他便像是被人遗忘了一般，独自留守于长乐宫。

直到宣正帝想起他这个和心爱的女子生下的儿子，方才将他从长乐宫接了出去。

从那之后，他便一直住在乾正宫，一直到成年后被立为太子，方才从乾正宫搬去了东宫。

所以，像每个皇子在三岁后居住的皇子所，他是不曾住过的。