中国人民解放军第21军的前身是华东野战军第2纵队。该纵队是由新四军第2师和第4师的部分部队发展而来。它的前身有一部分是土地革命战争时期的中国工农红25军和红军第26军与刘子丹的部队汇合后组建红15军团。

1938年春，留在皖西北坚持武装斗争的红25军和红26军合编，一路长征到陕北，与刘子丹的部队汇合后组建红15军团，改编为新四军第4支队，下辖由鄂豫皖边的红28军鄂豫边游击队编成的第7、第8、第9团、手枪团，共3100余人。3月14日，第4支队由湖北省红安县七里坪东进。4月，进至舒城、庐江、无为、桐城地区展开抗日武装斗争。1939年5月，新四军江北指挥部成立，第4支队归其指挥。6月，第4支队整编，下辖第7、第9、第14团，后开创了以定远东南藕塘为中心的津铺路西抗日根据地。同时，以第4支队第8团为基础在安徽定远组成新四军第5支队。1941年1月，新四军江北指挥部改编组成新四军第2师、第4支队改编为第2师第4旅，第5支队改编为第2师第5旅。1945年9月，第4、第5旅北上山东。

1945年10月，由新四军第2师第4、第5旅和第9旅，在山东组成新四军第2纵队，罗炳辉任司令员兼政治委员，韦国清任副司令员，赵启民任副政治委员，詹化雨任参谋长，王集成任政治部主任。辖第4、第5、第9旅，共2．4万余人。纵队成立后，归津铺前线指挥部领导，开赴津浦前线作战。1946年1月，改称山东野战军第2纵队。6月，纵队第5旅调归淮南军区建制。

1945年11月，以新四军第4师第11、第12旅为基础，在淮北组成华中野战军第9纵队，张震任司令员兼政治委员，姚运良任参谋长，王学武任政治部主任。辖6个团，共1万余人。纵队成立后，参加津浦路和陇海路东段破击作战，彻底破坏了大许家到白塔埠的铁路，给拒绝投降的日伪军以严重打击，从而使我山东、华中两大解放区连成一片。

1946年7月，在朝阳集战役中，第2纵队主攻，第9纵队阻援，全歼国民党军第92旅。8月，第2、第9纵队参加泗县战役，给国民党军第172师以重创。10月至11月，参加淮阴、涟水保卫战，协同兄弟部队全歼国民党军第69师。1947年1月参加鲁南战役，在苏北方向完成阻击国民党军第7军及第11、第74、第28师北进的任务。

1947年2月，第2、第9纵队合编为华东野战军第2纵队，韦国清任司令员兼政治委员，张震任副司令员，康志强任副政治委员，詹化雨任参谋长，邓逸凡任政治部主任。第2纵队第4旅编为第4师，朱绍清任师长，高志荣任政治委员。第9纵队除一部改编为淮北支队外，其余编为第5师，姚运良任师长，秦贤安任政治委员。第2纵队第9旅编为第6师，滕海清任师长兼政治委员。全军共2.9万余人。

1948年2月，第2纵队奉命南下华中，与第11、第12纵队组成苏北兵团，开辟威胁敌宁沪心脏的苏北战场。3月，攻克益林，全歼国民党军第113旅。还参加了一次在我军战史上很有名的围歼战，那就是宿北战役。这一仗全歼国 民 党整 编第69师3个半旅，按陈世榘的说法歼敌不是2万1千，而是3万3千。这一仗，2纵首先突入69师师部人和圩，师长戴之奇实践了蒋 总 统“不成功便成 仁”的旨意，这对国 军将领来说真是奇之又奇。6月，策应豫东战役，解放新安镇、海州、沭阳、灌云等地，对改变苏北战局起了重要作用。2纵又参加了莱芜战役，紧接着又是孟良崮战役，山东战场的我军在歼灭74师中发挥重要作用，11月，参加淮海战役，在围歼黄百韬兵团、固镇阻击战和总攻杜聿明集团的作战中，共歼灭国民党军3.6万余人。

1949年2月，根据中央军委命令，第2纵队改称中国人民解放军第21军，属第3野战军第7兵团建制，滕海清任军长，康志强任政治委员，吴泳湘任参谋长，邓逸凡任政治部主任。原第4师改称第61师，胡炜任师长，王静敏任政治委员。第5师改称第62师，周纯麟任师长，周世忠任政治委员。第6师改称第63师，吴华夺任师长，谢锡玉任政治委员。全军共3.6万余人。4月，参加渡江战役，人民解放军即遵照中 共中央军委命令，于 20日夜发起渡江作战。中突击集 团第一梯队第24、第25、第27、第 21军在强大炮火掩护下，冒着国 民 党 军 军舰和江防炮火的拦截，在 100余公里的正面上，首先登船起渡，迅速攻占了鲫鱼洲等江心洲。 渡江战役历时42天，人民解放军以木帆船为主要航渡工具，一举突破国 民 党 军的长江防线，并以运动战和城市攻坚战相结合，合围并歼灭其重兵集 团。此役，人民解放军伤亡6万余人，歼灭国 民 党 军11个军部、46个师共43万余人，解放了南京、上海、武汉等大城市，以及江苏、安徽两省全境和浙江省大部及江西、湖北、福建等省各一部，为尔后解放华东全境和向华南、西南地区进军创造了重要条件。。5月，解放杭州，尔后进军温州、宁波、象山等地。8月，赴临海剿匪。其间，第63师奉命入闽作战，9月归建。10月，发起温州湾战役，攻占洞头、大崇山等岛屿。1950年3月至5月，参加舟山战役，尔后负担浙东、浙南和闽北地区的海防任务。

这支部队的指挥员仍有许多是我军重要的将领。新四军2师首任师长张云逸，是1955年受衔的10员大将之一。继任师长罗炳辉，是彝族人，有部电影叫《从奴隶到将军》，由杨在葆主演，讲的就是这个故事。彭雪 枫牺牲后，接任4师师长是张爱萍，张爱萍上将曾当过中华人民共和国的国 防部长。解放战争时期，2纵首任司令员是韦国清。韦国清也是个少数民族，1955年授予上将军衔，张震是原 军委副主席。

1952年3月，第21军参加中国人民志愿军入朝作战，在战斗中，涌现出王云阁、马天明、曹光景、葛英东等战斗英雄和战斗集体。朝鲜停战后，支援朝鲜人民重建家园。1958年8月回国。