后来仁宗皇帝又生了个儿子，取名赵昕，并被封为豫王。这下有亲生的了，养子继承皇位的理由就不存在了。此前的种种疼爱瞬间消失无踪，宋仁顾不得曾经对赵曙寄予的厚望，立马撤了他的太子之位，连同皇子之位也一同撤掉。不仅如此，还把他送出了皇宫，让他回到他的亲生父亲赵允让身边。

因为仁宗皇帝赵祯有了自己的亲生儿子，自然再也不需要这个养子来继承皇位了。只是后来赵昕也夭折了，宋仁宗只好被迫又把赵曙迎回了皇宫，后来赵曙继承了皇位。