赶了一天的路，来到了吕城，赵构又累又困，便传旨在吕城落脚，当天夜里，赵构和吴芍芬一起住在了吕城。

临行前，王渊将部将杨沂中和三百精兵留在镇江，并与杨沂中约定，如果看到金军过江，立即焚烧甘露寺向吕城报警。

半夜，留守在镇江的杨沂中听到北岸瓜州方向有人声喧哗，也没有派人去核实是否有金军渡江，就自乱了阵脚，自作主张烧了甘露寺，然后带着三百精兵往吕城方向而逃。