霍去病更加亲近皇帝，他效忠的是皇帝，不是他们卫氏。

尤其是等他战功卓著，皇帝对他各种提拔赏赐。外人看来，又是卫氏出尽风头，但只有他们卫氏人心里清楚，皇帝提拔霍去病，是为了牵制大权在握的卫青，要霍去病跟卫青分庭抗礼。

卫氏别有用心的人，便想出了一条一石二鸟的毒计：在与匈奴的一次大会战中，李广因为不服从卫青的命令，贻误战机，愤而自杀。李广的儿子，郎中令李敢认为罪魁祸首是卫青，为了给父亲报仇就打伤了卫青。