攻下运城后，临汾就成了晋南国民党唯一固守的城市了。如果攻下它，晋冀鲁豫和晋绥、吕梁解放区将连城一片，这样，徐向前就可以北上直捣阎锡山的老巢——太原了。

然而，这座晋南的军事重镇，它经过日军和阎锡山的逐年加固，成为一座具有四道防线、易守难攻的城防体系。临汾战役注定不会容易，它也将成为解放战争中耗时最长，战斗最残酷的战役，它显露出了我军将战役中心转向进攻城市之处的种种艰辛和不易。

临汾第一道防线是，城市周围村镇的碉堡、电网、地雷区、明的和暗的火力点；第二道防线是二十七座堡垒环绕城市组成的护城阵地，碉堡周围也布满了地堡、火力点、铁丝网和地雷与城墙上的火力织成立体火力网，碉堡与城内暗道连通；第三道防线，城墙上部、腰部均布有火力点和喷火器发射掩体，城墙根部有碉堡；第四道防线，城内纵深阵地和地道工事，城墙内内壕里是暗堡以及城市布置大量的巷战据点。临汾全部收成兵力3万人，由第六集团军副总司令梁培璜统一指挥。

临汾战役，由徐向前任司令员，指挥前线总共10个旅8个团共5.3万人进行战斗。战前动员上徐向前强调，要积累城市攻坚战的经验，将晋冀鲁豫军区野战军培养成一支专门攻坚的队伍，要运用好运城攻坚战的经验，要做好战前准备，坑道作业、连续爆破、步炮协同等等工作，要坚持到最后5分钟。

除了城市攻坚，打临汾的另一个目的是牵制胡宗南主力，减轻西北野战军的压力，而此时胡宗南决定将临汾守军中的三十师三十旅空运至西安，加强西安的防守力量，如此一来，支援西北野战军作战的目的将落空，于是徐向前决定提前三天，一九四八年三月七日发起攻击。

由于阴雨天气，加上国民党杂牌武装的拼死纠缠，外围作战异常辛苦并且缓慢。城南、城北工事外全是开阔地带，没有隐蔽的情况下，进攻十分困难。临汾战役进行到二十二天，部队伤亡四千人，伤亡较为惨重。徐向前命令转入隐蔽挖壕作业，十天后，部队挖好了四条通往临汾城外壕的坑道。

八纵将一万六千斤炸药在东关引爆，将临汾城炸开了宽五十七米、二十五米两个大口子，二十三旅随即突进，国民党被迫退到主城内。梁培璜感到恐慌，强令男女老幼市民加固碉堡攻势。为了反坑道作业，国民党守军在城墙底部挖掘防御坑道，并在底部放置水缸，监听成外挖掘坑道的情况。监听到城外的坑道“吭吭”的声音无时无刻不在，没有停留，梁培璜日益恐慌焦虑。晋冀鲁豫军区攻城异常艰辛，已经伤亡将近万人。为了避免国民党监听到，我军官兵只有用小工具，甚至徒手挖掘，减少声音，部队一寸一寸的向前掘进。四月底，十五条进攻坑道，四十条掩护坑道终于靠近了城墙。六千一百多公斤的黑炸药，二千五百公斤的黄色炸药，五百公斤的硝氨炸药，简直能把临汾城炸上天。

五月十七日晚，爆炸声还未停止，部队就从四十米的口子蜂拥而入，经过巷战，十八日解放临汾。八纵二十三旅由于战功卓著，后被军委授予“临汾旅”光荣称号，这一称号保留至今。