后来长孙无忌辅立李治后，就借口“谋反案”杀李恪“以绝众望，海内冤之”。

又将李恪的四个儿子全部流放岭南，好在李仁有强健的身体，适应能力极强，在岭南那种崎岖复杂、条件奇差的瘴病之地，诸多恶劣的条件下，竟然很好的活了下来。

武则天当政之时，根据对手的对手就是朋友的原则，她当年也与长孙无忌是对手，所以就赦免了李仁，并加以重用。