与此同时，张浚还解除了刘光世的兵权。皆因刘光世平日里不仅花天酒地，沉迷于酒色，并且大吃空额，只知敛财，根本不理军务。更重要的是，他的军队除了挠民之外，全无一点用处，几次与金人作战，全都是不战而败。

赵云桦则认为刘光世出身武将世家，树大根深，怕影响士气，不能随意免去他的军职，以免带来意想不到的后果。

赵鼎的想法也与赵云桦一样，认为刘光世在淮西的势力厐大，并不同意朝廷免去他的军职，但他此时已经辞相，张浚更是不会听他的劝告，继续我行我素。