他祖籍河北涿州，整个家族世代为官。

高祖赵朓是永清、文安、幽都的大官，曾祖父赵珽做过藩镇的地方官兼任御史中丞，祖父赵敬是营州、蓟州、涿州三州的刺史，父亲赵弘殷骁勇善战，后被留在禁军任职。

后来，赵弘殷娶杜氏为妻，杜氏第一胎生了一个男孩儿，取名匡济，不幸夭折了，第二胎又生了个男孩儿，就是香孩儿。

“这些人，现在都太会搞了！”