只是牛永才要带牛李氏去上任，杨家便有些不同意，若是牛李氏离开了江宁县，到时候牛永才翅膀硬了，杨家哪里管的住。虽然有牛永新在，但杨家并没有把牛永新放在眼里，只想留住牛永才最孝顺的老母牛李氏下来。

而杨氏不在愿意跟牛永才去受苦，又见不得牛永才带妾去，最终在杨县令的发令之下，才不甘不愿地跟牛永才离开。杨氏带走二女儿牛如萍，舍不得大女儿牛如娟跟去受苦，又顾着小女孩牛如丽身体不好，便把大小女儿才最留在了杨家。