三国演义中，吕布和刘备的关系，时而友好，时而敌视，这也影响了关羽、张飞和吕布的关系。

刘关张三兄弟，和吕布的第一次遭遇，是在虎牢关前。董卓作乱之后，因为废汉少帝、毒杀何太后等诸多罪孽，引起了天下人的愤恨，曹操、袁绍等十八路诸侯起兵讨伐董卓。刘备虽然当时没有地盘，麾下也没有兵马，但他心怀“匡扶汉室”的志向，所以也参加了讨伐董卓之战。

刘关张兄弟，在这之前，还是织席贩履、看家护院、屠猪卖酒的岌岌无名之辈，但是在汜水关之前，关羽“温酒斩华雄”，让三兄弟名声大振，其他诸侯都不敢小觑他们了。虎牢关之前，十八路诸侯麾下的将领，又对吕布无计可施，还是张飞、关羽、刘备三兄弟出战，击退了吕布。

虎牢关一别之后，刘关张三兄弟在遭遇吕布时，已在徐州了。

十八路诸侯讨伐董卓失败后，忠于汉室的司徒王允，不愿让董卓继续为非作歹下去，他以自己的养女为诱饵，用美人计挑拨吕布和董卓之间的关系，导致两人反目，最后吕布诛杀了董卓。

董卓被杀后，他手下的将领树倒猢狲散，准备各奔东西了，但在贾诩的劝说下，李傕、郭汜聚揽董卓旧部，率兵反攻长安。吕布输给李傕、郭汜后，带领张辽、高顺等部将，逃离了长安，王允被李傕、郭汜等人给杀害了。李傕、郭汜控制长安后，滥杀无辜等，让天下陷入了大乱。

吕布败逃之后，先后去投奔袁术和袁绍，都不受重用，所以他又离开了袁绍。在陈宫的帮助下，吕布得到了曹操的兖州，这让曹操和吕布交恶，两人开始兵戎相见。在这期间，徐州牧陶谦去世，刘备因为以“仁义”著称于天下，为了徐州百姓，陈登等人主持让刘备做了徐州牧。

吕布和曹操争夺兖州失败后，前去投奔刘备。因为曹操是他们共同的敌人，所以“敌人的敌人就是朋友”，刘备为了让自己多一个帮手，收留了吕布，让吕布率兵驻扎在徐州境内的下邳。

吕布是个不知感恩的狼子野心之人，刘备收留了他，他却趁刘备率兵攻打袁术，徐州城内空虚之际，夺取了刘备的徐州。吕布夺取了刘备的徐州后，刘备气愤不已，但他面临着袁术的威胁，为了让自己能够生存下去，刘备被迫和吕布重新修好了关系，让吕布占有徐州，他驻扎在下邳。

不久之后，袁术因为称帝，激起了天下人的怒火，被曹操、刘备等人联手消灭了。袁术败亡后，曹操将目光放在了吕布身上，准备除掉吕布。曹操为了削弱吕布的实力，使用离间计，让吕布和刘备反目。吕布率兵攻打刘备，兵败之后，刘备投降了曹操，孤木难支的吕布，也很快被曹操击败。

吕布被俘后，他想让刘备救他，但刘备对其恨之入骨，故意向曹操提起丁原、董卓，让曹操杀了吕布。

吕布和刘关张三人，多有瓜葛，但因为吕布曾忘恩负义，袭取了张飞驻守的徐州，这让张飞对其恨之入骨，见面后，会大骂吕布“三姓家奴”。吕布除了自己的亲生父亲之外，还曾认丁原和董卓为义父，但他不忠不孝，为了利益，将丁原和董卓都给杀了，这成了吕布人生的污点。

张飞骂吕布“三姓家奴”，就是揭吕布的短，专挑吕布的痛楚骂。张飞经常辱骂吕布，吕布对张飞自然没有好感，他也回骂张飞“环眼贼”。张飞“身长八尺，豹头环眼，燕颔虎须”，环眼指张飞的相貌，后面带上贼字，就成了骂人之语。刘备因为耳朵大，也曾被吕布骂为“大耳贼”。

吕布虽然经常和张飞互相辱骂对方，但内心中，却视张飞为一顶级猛将，他夺取徐州期间，看到张飞酒犹未醒，不能力战，但吕布因为知道张飞勇猛，不敢相逼，最终看着张飞率众逃跑了。

关羽为人很狂傲，他嫌弃黄忠是老将，不愿和他并列，还曾出言侮辱过孙权等人，但关羽内心很敬重吕布。

关羽狂妄，主要是他武功高强，三国中很少有人能击败他，而吕布或许是三国中唯一可以击败他的人。虎牢关之前，关羽和张飞联手都没有击败吕布。同时，关羽和刘备驻守下邳期间，因为得罪了袁术，他手下的大将纪灵要率兵攻打刘备，他们还指望吕布为他们说和，让纪灵放弃攻打刘备。有求于人，关羽见了吕布自然要客气一些，他尊称吕布为“吕将军”也算正常。

演义中，虽然找不到吕布对关羽的评价，但关羽“温酒斩华雄”，还和张飞是结拜兄弟，吕布内心对关羽的评价，应该和张飞相差不大，也认为关羽是武功不俗悍将，不过吕布没有骂过关羽。