清同治元年（1862年）初，候补道员李鸿章在家乡安徽合肥，以及淮河两岸招募人员组建勇营武装淮军。最初编为5个营，即刘铭传的“铭”字营、潘鼎新的“鼎”字营、张树声的“树”字营、吴长庆的“庆”字营、周盛波的“盛”字营。

火绳鸟枪

随后，李鸿章的六弟李昭庆又在合肥招募5个营，淮军共编成10个步队营，计6500人。淮军步队营建制和湘军一样，每营设营官1名，勇丁500人，加上行政人员、做饭的伙勇、运输辎重的长夫等，每营实际为685人。淮军初期的经费由上海官绅和当地豪绅资助，数目不太宽裕，所以装备的武器为旧式火器和冷兵器。淮军每营分为前、后、左、右四哨和一个亲兵哨，每哨设哨官一人，下辖八队。

劈山炮

这八队中有两队配备抬枪，四队配备大刀长矛，两队配备小枪，这种小枪就是火绳枪中的轻型鸟枪。每个步队有正勇10名，伙勇1名，从事后勤的杂长1名，每个亲兵哨有营官直接统领。淮军每个炮队分为六队，第一队配备劈山炮，此炮在乾隆年间开始铸造，自重几十斤至数百斤，这是一种利于野战行军的轻型火炮。第二队配备大刀长矛，第三队配备劈山炮，第四队配备大刀长矛，第五队配备小枪，第六队配备大刀长矛。

淮军进入上海

淮军在经过三个月的训练后兵分两路，其中主力开往上海对付太平军，另一路由李昭庆率领在庐江、无为一带，东防太平军，北防捻军。淮军到达上海后，与太平军作战频频得手，有了威名后，队伍迅速扩大，上海官绅也资助淮军大量经费。1864年7月，天京陷落于湘军之手，太平天国土崩瓦解，淮军回师安徽追剿太平军余部。此时淮军占地盘不少，效仿湘军在水路要道设立关卡，对过往货物收取厘金。

有了大批经费后，淮军通过上海的外国洋行购买大批洋枪洋炮，使淮军武器大为改善，到1866年11月追剿捻军时，6万淮军基本实现了火器化。当时每营装备洋枪多则400余支，少的也有300多支，下辖的前哨八队中，第一、二、三、五、六、七队配备洋枪，第四、八队配备洋炮和劈山炮。后哨八队、左哨八队和右哨八队配备的武器与前哨相同。亲兵哨六队中，第一、二、四、五队配备洋枪，第三、第六队为洋炮和劈山炮队。后来淮军又招募太湖、淮扬两个水师，人马增至140营，共7万余人。

淮军当时装备的洋枪，既有老式滑膛步枪，也有新式线膛米尼步枪。使用的洋炮虽然还是前装炮，却能发射开花炮弹，并且打的还挺准。