在涿县组织起了一支义勇军参与扑灭黄巾军的战争，关羽与张飞同在其中。刘备辗转担任许多官职后，投奔昔日同窗公孙瓒，被封为平原相，任关羽、张飞为别部司马，分统部曲。三人情同兄弟，常一起同床而睡，当刘备坐下时，关、张二人更不辞辛劳随身守护。

公元194年(兴平元年)，曹操因全家被杀而迁于陶谦，于是发兵攻打徐州。陶谦求救于刘备，刘备和关羽率千余人前往救援。曹操兵退后，陶谦表刘备为豫州刺史，关羽与刘备屯兵于小沛。而后在陶谦等人的再三相让下，刘备领徐州牧。[1]