抗日战争全面爆发后，陕北一带的红军主力改编为八路军。但谈判的过程并不顺利，当时陕北的红军总兵力超过了7万人，延安希望可以编成四个军，林、贺、刘、徐分别担任军长。但蒋介石只愿意给两个师的番号，由于差距太大，谈判进行的很艰难。

不久后北平和天津相继沦陷，蒋介石急于让八路军开赴前线抗日，这才在谈判中做了一些让步，给八路军增加了一个师的番号。虽然和延安方面的期望仍然有很大的差距，但为了抗日大局，延安方面做出了很大的让步，最终陕北一带的红军主力改编成了三个师，每个师定员15000人。

这三个主力师当中，115师是以红一军团和红25军为主改编而成的，因此担任过红一军团军团长的林就成了师长。120师是以红二方面军为主改编的，贺龙也顺理成章地成为了师长。129师是以红四方面军为主改编而成的，按理来说，四方面军总指挥徐向前应该出任师长。

但实际情况却是刘伯承担任了129师的师长，徐向前成了副师长。为何会出现这种情况呢？红军三大主力会师后不久，徐向前率四方面军主力渡过黄河与马家军作战。由于多种原因，西路军最终失利。在石窝会议上，陈昌浩决定和徐向前一起返回延安，汇报情况。

四方面军是徐向前亲手发展壮大的，为此他付出了极大的心血。此时部队面临绝境，徐向前又怎能忍心离开呢？他对陈昌浩说：“到了这个地步，我们回去干什么？大家都是同生死、共患难过来的，要死也死到一块嘛！我们留下来，至少能起到稳定军心的作用。”

但陈昌浩坚持要回延安汇报情况，徐向前也没有办法。途中，陈昌浩回了湖北老家。徐向前则艰难地向延安前进，经过40多天的磨难后，他在镇原县见到了援西军司令员刘伯承。原来中央军委为了给西路军解围，专门成立了援西军。

徐向前见到刘伯承后，心情十分沉痛，说：“伯承同志，西路军失败了，我对不起党！”刘伯承则安慰说：“向前同志，你不要难过！你回来了，就等于西路军回来了！”经过数日的恢复后，刘伯承派人将徐向前护送到了延安。

刚到延安，毛主席就亲自接见了徐向前，并对他说：“向前同志，不要难过，留得青山在，不怕没柴烧。你能回来就好，有鸡就有蛋！”毛主席这番话，给了徐向前很大的安慰，也减轻了他的思想包袱。

不久后抗日战争全面爆发，陕北一带的红军主力改编为八路军，援西军加上部分陕北红军改编成了129师。刘伯承是援西军的司令员，而且懋功会师后曾在四方面军工作过一段时间，因此对四方面军的情况并不陌生，再加上徐向前刚刚经历了西路军的失利，这些因素综合起来，刘伯承就成了129师师长的最佳人选。

徐向前的资历、职务和威望都不亚于自己，现在却成了自己的副手，刘伯承心中过意不去，但也没有办法。几个月后，担任129师政委的张浩因为身体原因离开部队回到延安休养，政委一职出现了空缺。

刘伯承趁机向毛主席提出，让徐向前接任张浩，担任129师的政委。这样一来，在职务上，二人就平起平坐了。但毛主席却没有同意，原因主要有两个，一是徐向前之前都是负责军事指挥的，没有干过政委，这方面的经验不足。

二是毛主席对徐向前另有安排。毛主席深知徐向前的军事才能，知道他是独当一面的大将，当时八路军在敌后已经有了很大的发展，毛主席决定让徐向前去敌后开创新局面。不久，徐向前先是被派到了冀南。冀南根据地稳固后，毛主席又把徐向前派到了山东，让他出任第一纵队司令，统一领导山东境内的八路军作战。

当时山东境内的八路军既有黎玉领导的山东纵队，还有陈光和罗荣桓率领的115师。这两支部队互不隶属，都归八路军总部管。由于多种原因，山东纵队和115师的关系，并不融洽，黎玉和陈光也有矛盾。

为了把这两支部队拧成一股绳，形成拳头，更好地打击敌人，毛主席将徐向前派到了山东，出任山东八路军的掌舵人。徐向前到山东后，很好地处理了山东纵队和115师之间的关系，带领部队打了不少胜仗。

一年后，他奉命回延安参加七大的准备工作，在一次骑马的时候，不幸受了伤，不得不住院治疗。徐向前离开后，山东八路军群龙无首，陈光、黎玉和朱瑞之间也产生了新的矛盾。罗荣桓向毛主席建议，让徐向前重回山东。但由于伤势较重，徐向前短期内无法离开延安。

毛主席经过深思熟虑后，决定扶正罗荣桓，让他接替徐向前，担任山东八路军的掌舵人，并把朱瑞和陈光都调回了延安。徐向前伤愈后，先是出任了陕甘宁晋绥联防军副司令，接着又担任了抗大的代理校长。

抗战胜利后，毛主席再次对徐向前委以重任，把他派到华北和阎锡山作战。在山西，徐向前连战连捷，将阎锡山打得毫无还手之力，为山西全境的解放作出了极为重要的贡献。1955年大授衔的时候，129师曾经的搭档，刘伯承和徐向前双双被授予了元帅军衔。