因为伊丽莎白十分看重罗伯特，让他连抽身回乡下打理房产的假期也没有。作为妻子的爱米在1559年的复活节造访伦敦后二人就难得见面，只能通信交心。

1560年的9月，罗伯特打算回家看看的时候，爱米却不慎从楼梯跌落死去。

本来坊间就有传女王和她的廷臣一直密谋在他妻子死后结婚，这个消息更是大合造谣者的胃口。而这个传言最终也成为伊丽莎白和罗伯特走到一起的最大阻碍。虽然结婚结不成，二人还是很亲近的。罗伯特呆在朝廷中的时间比任何一个同僚多，而他在宫中的房间也是紧贴着女王的居所。