用膳的时候，长孙无忌好奇问了句：“陛下，这李义府在洛阳，言其本出赵郡，与诸李叙昭穆。”

给事中李崇德，讥讽他是无赖之徒藉其权势，修书回族，务必不能将其加入族谱，因此恶了李义府。

李义府的报复手段，可就狠了，他以贞观中《氏族志》例降一等的规矩为主，王妃、主婿皆取勋臣家，不议山东之族。这摆明了，就是跟赵郡李氏过不去。