后来，丞相韦玄成病逝，匡衡代为丞相，封乐安侯，辅佐皇帝，总理全国政务，成为寒门子弟，位极人臣的典型。

汉元帝后期，宦官石显为中书令，他结党营私，把持朝政，怂恿元帝加重赋役，剥削宝兴。匡衡便上疏弹劾石显，列举其以前所犯罪恶，并纠举他的党羽，为汉成帝廓清了朝廷，立下了汗马功劳。

但不久后，匡衡被人举发，擅自扩大封邑土地，达四万多亩，因此惹怒了汉成帝，被贬为庶人，一世英名毁于一旦。