1853年7月8日，在清军的围追堵截下，从开封撤围的太平天国北伐军费尽九牛二虎之力， 经归德强行突至汜水，在汜水搜寻、劫掠大量民间船只，侥幸渡过黄河后，不敢稍作停留休整，昼夜兼程急行军抵达黄河北岸的战略重镇怀庆城（今河南沁阳）下。

怀庆城是怀庆府治和沁阳县治的所在地。据记载，怀庆一带河流纵横，灌溉便利，农业发达，商贸繁盛，民众较为富裕。怀庆自古就是军事重镇，城池高耸、坚固，沁河、丹河（黄河支流）等天然的护城河绕城而过，水深流急，易守难攻。该城交通十分便利，占据此城，便可乘船顺流而下，直达天津。

怀庆知府余炳焘、河内县令裘宝镛带领300多清军以及一万多乡勇扼守此城。林凤祥、李开芳率北伐军抵达怀庆城下后，即开始挥军围攻。余炳焘、裘宝镛督率守军拼死抵抗，火炮、鸟铳、抬枪、滚木礌石、弓箭、滚水轮番上阵阻击太平军进攻，给太平军突击队造成不小的伤亡，使其久攻不克。

林凤祥见一时难以攻下此城，便下令将城池团团包围，并分兵控制了城外的各战略要冲。

林凤祥、李开芳突然想起了太平军屡试不爽的穴地攻城战术，于是利用夜色掩护，在城外挖掘了两处地道深入到城门之下，并运进了大批火药。7月15日、21日，北伐军先后两次用火药炸塌城墙，并试图沿缺口冲入城内，不想余炳焘等督率守军誓死抵抗，浴血击退太平军突击队，并迅速用沙袋堵住豁口，使太平军未能进入。

23日，太平军又在怀庆东城、西城两处挖地道埋炸药准备炸城 ，正在东城墙上指挥守御的河内知县裘宝镛被爆炸的巨大气浪震飞，旋即跌落城下，多亏几个身手敏捷的士兵迅速缒城而下，将裘县令救起。西城即将引爆炸药时，忽然降下暴雨，雨水浇湿了引信，炸药没有发挥作用。

余炳焘、裘宝镛为了守住怀庆城，也算煞费苦心、绞尽脑汁了。知府余炳焘为了增强防守力量，下令打开监牢，将一群刑事犯罪分子释放出来，发给武器，让他们登城作战，并许诺可立功赎罪，立大功者可恢复自由之身。这些生性凶悍的亡命徒， 为争取早日出狱，守城很是卖力。每当北伐军发起进攻，城头上这些囚犯都冲在最前面，混不畏死，战斗力比清军、团勇强悍得多，数次重创攻城北伐军。

据张德戬《贼情汇纂》记载，被余炳焘释放协助守城的囚犯中有个叫任随成的人，原本是挖煤工人，后因殴伤人命而被下狱，因犯的是重罪，他非常卖力，拼老命表现自己，以争取从宽处置。他声称有办法识破太平军挖掘的地道，余炳焘大喜，让他负责辨识、捣毁太平军穴地攻城的通道。

每日清晨，任随成都去外城仔细查看，若野草上没有露珠，即判断下方有太平军秘密挖掘的地道。若草木上有露水，则下面没有地道。守军依照任随成的指点，对地道进行破坏，或堵塞或捣毁。北伐军先后挖掘地道20多次，均被任随成识破，遭守军摧毁，太平军最擅长的穴地攻城法因此无法实施。

就在北伐军与怀庆守军相持不下时，清军援兵陆续开至。清将托明阿、西凌阿、善禄等率领4000多八旗、绿营官兵，紧随北伐军之后也渡过黄河，旋即追赶过来，在沁水南岸屯扎下来；山西巡抚哈芬率数千晋军屯扎太平山，以防止太平天国北伐军窜入山西。同年7月13日，钦差大臣讷尔经额亲率6000精锐八旗兵开至怀庆东北边的清化镇并扎营驻守，统一节制各路援军。

清军从东、南、北三个方向对围攻怀庆的天朝北伐军形成了反包抄，形势对北伐军很是不利，攻占怀庆变得困难重重。按北伐前洪秀全、杨秀清的嘱咐，北伐军的任务是“直捣京师，不可贪图攻取一城一池，贻误战机” ，林、李应该果断放弃怀庆府，甩掉清军，继续北上，这是最明智的选择。然而，攻城连续失利，将士死伤惨重，使北伐军的主将们变得偏激，遂一意孤行，执意要攻下此城，尽屠城中军民，为死难同袍复仇。

面对城内凶悍顽固的守军，以及从三个方向大举袭来的援军，北伐军欲攻不能，撤围又不甘心，被愤怒冲昏头脑的林、李二统帅遂做出一个错误的决策：长久围困怀庆，断绝城内与外界的联系，迫其投降。

北伐军在怀庆周围构筑起坚固的防御工事，同时还在夜间构筑了一道长长的木城，木城外还挖掘长壕与护城河，做长期打算，企图困死城中军民。这样一来，守军无法和援军取得联系，更无法里应外合，夹击围城北伐军。

但清军大批援军源源不断开至，陆续逼近怀庆，北伐军面对腹背受敌的窘境，不得不用精锐主力阻抗外围之清军增援部队。外围清军援兵虽然多，但互不统属，令出多门，且貌合神离，胆怯畏战，钦差大臣讷尔经额虽握有尚方宝剑，也无法统一指挥诸军， 协同作战。北伐军遂得趁机以各个击破。直隶大名镇总兵董占元率3000将士匆匆赶到，立足未稳即遭北伐军主力围歼，全军覆没。其余各部清军为保存实力，拒不救援，坐视董占元部被团灭。

紧接着，北伐军又击退了托明阿、善禄统率的数千满蒙八旗兵。钦差大臣讷尔经额亲率的精锐满蒙骑兵也遭北伐军沉重打击，最终被彻底击溃 。

北伐军忘记了天王、东王兵贵神速、直扑京畿的告诫，在怀庆城外、沁河之畔、丹河两岸与清军血战了56个昼夜，虽然数次挫败清援军，自身也遭受了很大损失，据说有过半北伐军将士战死在怀庆城外，号称铜墙铁壁的怀庆最终还是没有被攻破。

因战损过重，林凤祥、李开芳感到兵力严重不足，数次派人回天京求援，但一直没有音讯。而清军的增援部队则从四面八方大举开至，蜂拥而来。

势单力孤的林、李二将这才意识到问题的严重性：再不撤围，必被清军“包饺子”。彼时已是北方的初冬，严寒将至，身着夏装、脚穿草鞋的太平军将士缺乏棉服，作战物资也将耗尽，遂决定撤出怀庆，抓紧时间绕道入山西，再折入直隶（河北），直扑北京。

1853年9月日，撤围开始，北伐军以小股部队佯攻怀庆，还不停放炮以迷惑清军，主力则沿山间小道衔枚疾进，通过太行山、王屋山峪口，迅速进入山西......

因林凤祥、李开芳决策失误，意气用事，在怀庆府外与清军鏖战了50多天，虽也取得了一些胜利，但自身亦付出了巨大代价，还耽搁了宝贵的时间，使清军有充裕的时间完成调动、布防，给之后的北伐作战造成了很被动、更困难的局面，也为北伐军最终彻底失败埋下了隐患。