关羽逃亡他乡，约五六年后，即29岁左右，在河北涿郡结识了刘备、张飞。刘备和张飞都是涿郡涿县(今河北省涿州市)本地人，刘备故里楼桑村“在涿州西南十五里”(《读史方舆纪要》)，张飞故里现称忠义店，距楼桑村约数里之遥。刘备是东汉皇室的远系支庶，祖父、父亲都做过小官，因父亲早逝，“与母贩履织席为业”。少有壮志，与儿童游戏时曾发出要做皇帝的豪言，长大后“好交结豪侠，年少争附之”(《三国志·先主传》)。《三国志·关羽传》称：“先主于乡里合徒众，而羽与张飞为之御侮。”“合徒众”就是招募乡勇，组织武装；关、张“为之御侮”，就是担任刘备的贴身保镖。《三国志·关羽传》又称：“先主与二人寝则同床，恩若兄弟，而稠人广坐，侍立终日。”《张飞传》则称：“羽年长数岁，飞兄事之。”这些记述，既说明刘、关、张三人“恩若兄弟”，也说明关、张担任“御侮”之职，保护刘备，尽职尽责。

刘备“合徒众”，招募乡勇，是因为当时出现了“黄巾起，州郡各举义兵"(《三国志·先主传》)的大形势，他乘势组织一支队伍，投靠官军，参加镇压黄巾军的作战。关羽也正是由此开始了他一生追随刘备戎马倥偬、征战疆场的军旅生涯。

刘、关、张率领乡勇，曾先后参加过幽州牧刘虞、中郎将卢植、校尉邹靖的军队，同反叛朝廷的中山相张纯和黄巾军作战。刘备因军功曾被授予安喜县(今河北省定县东)尉，又曾被授予下密(今山东昌邑东南)丞、高唐尉、高唐令。

190年(东汉初平元年)，黄巾军攻破高唐，刘备无处安身，与关、张率部投奔了同窗好友、中郎将公孙瓒。公孙瓒表请朝廷封刘备为别部司马(职级较高的武官)。约在192年(初平三年)，公孙瓒派刘备率部去青州，协助青州刺史田楷“以拒冀州牧袁绍”(《三国志·先主传》)，因数有战功，被公孙瓒任为平原县(今山东省平原县)令，后领平原相(与郡太守同级)。刘备任关羽、张飞为别部司马，分统部曲，并结交了赵云，用主骑兵。

194年(东汉兴平元年)，曹操与陶谦争夺徐州，关羽随刘备援救陶谦。不久，陶谦病故，刘备代领徐州牧，开始名列“封疆大吏”。196年(东汉建安元年)，袁术攻刘备，刘备与关羽拒之于盱眙、淮阴(今江苏省盱眙县、淮阴市)。此后，刘备军驻小沛(今江苏省沛县)，先降吕布，后又多次与吕布发生对抗。198年(建安三年)十一月，关羽随刘备依附曹操，助擒吕布，曹操杀吕布于下邳(今江苏省睢宁县古邳镇)。刘、关、张因战功显著，随曹操入许都(今河南省许昌)，朝廷拜刘备为左将军、豫州牧、宜城亭侯，关羽、张飞为中郎将。199年(建安四年)，刘备彻底与曹操决裂，袭杀曹之徐州刺史车胄，占领徐州，命关羽镇守下邳，行太守事。

200年(建安五年)，曹操攻击刘备。刘备败逃，依附袁绍。守卫下邳的关羽及刘备妻室被曹军截获。关羽无奈，暂时归附曹操，被授以偏将军要职，并待以厚礼。但关羽对刘备始终忠心不渝，他婉拒了优厚的礼遇，并对曹操部将张辽说：“吾极知曹公待我厚，然吾受刘将军厚恩，誓以共死，不可背之。吾终不留，吾要当立效以报曹公乃去。"(《三国志·关羽传》)当年四月，袁绍派大将军颜良进攻东郡白马(今河南省滑县)。曹操派张辽、关羽为先锋出战，“羽望见良麾盖，策马刺良于万众之中，斩其首还，绍诸将莫能当者”(《三国志·关羽传》)。关羽在千军万马之中，将大将颜良斩于马下，遂解曹操“白马之围"。关羽被曹操表封为“汉寿亭侯”。白马之役后，关公已探知刘备下落，回许都后便决意辞曹寻刘。后来，民间广为传诵的“封金挂印"、“拜书辞曹”见于《三国志·关羽传》，而“灞桥挑袍”、“千里走单骑"等精彩动人的故事，虽然并无正史记载，但也从侧面反映出关羽当年忠贞不贰和重情尚义的品质。关羽于是年七月离开许昌，北上阳武(今河南省原阳县东南)寻找刘备。曹操闻知关羽离去，其部下欲追之，他却阻拦说：“彼各为其主，勿追也。”

在早期的征战中，关羽“随先主周旋，不避艰险"(《三国志·关羽传》)，赤胆忠心，战功卓著。这一时期，关羽不仅积累了丰富的军事经验，还与刘备建立了“恩若兄弟”的友情，为以后担当重任，建功立业，打下坚实的基础。