年过一年，日复一日。柳生也长大了，这一年柳生十六岁，唯一和他相依为命的母亲也由于长年的劳累过度病重无法下床，需要较多的金钱来买药，于是柳生卖身进入了对面村的黄员外家负责花园的工作。

柳生进到黄员外家后，因为一只金丝雀与黄家小姐结缘，日久生情，却被黄员外得知，柳生被黄家众家丁打了个半死，又被抬到了附近的黄河。