他宠妾灭妻都懒得遮掩了，也不顾及名声和朝臣的弹劾。他一贯扬言要休了嫡妻扶正小妾，只是碍于晋国公夫人的娘家是徐家在朝堂上的助力，徐家不敢得罪，这才休不成。徐家家宅不宁，外人看笑话，圣上也很失望。闹了那些年，身为上柱国大将军的晋国公不知被弹劾了多少次，官职都不大稳当。他满不在乎，将手里的兵权分给了几个弟弟一人握着一点，自己就担个虚名。