首先有着杨时的名声，如果赵构在没有绝对的理由情况下对杨氏一脉下杀手，绝对会引起士大夫一片喧哗，弄不好，赵构这个皇帝的名声直接臭了街也未尝不可能。

人家家里边有著书立传的人，稍微写上两笔，你皇帝脸上也不好看。

另外就是，这样一家子不仅当官的多，而且在各个方面，有在朝堂的有在地方的，管什么的都有，除非是证据确凿的谋逆大罪，否则你哪怕动其中一个，也绝对很难牵扯上其他人。