中国第一支真正意义上的炮兵部队的建立要追溯到清末“小站练兵”时期。1894年，中日甲午一战，清军惨败，以西方海军为模型的北洋舰队全军覆没。

对此，清廷认为有必要建立一支武器先进，训练精良的西式军队。于是，从1895年起，清政府任命胡燏芬为编练大臣，仿照西法，在天津小站编练新军。胡燏芬在小站招募壮丁，组成十个营，每营大约500人，号称“定武军”，就是所谓的“新军”。

新军从编制到训练操典都模仿德国的办法。不久，胡燏芬另调他职，清廷让袁世凯接掌编练新军事宜。“定武军”十个营，计有步兵3000人，炮队1000人，马队250人，工程队500人，总兵力4750人。袁世凯接办后，改“定武军”为“新建陆军”。专业炮兵部队首次出现在了中国军队的序列中。

1899年，义和团反帝爱国运动发生，此时袁世凯编练的新军已初具规模。袁世凯被清廷任命为署理山东巡抚，带领新军开赴山东镇压义和团。他趁机将山东旧军三十四营加以整顿，编成马、步、炮队共二十个营，总计兵力达到20000人。袁世凯的新军以镇为战略基本单位，指挥官称为统制；下设两协，指挥官称协统；每协辖两个标 ，指挥官称标统；标下辖三个营，营的指挥官称管带。

此时袁世凯亲自统带的新军第四镇中设有炮兵一标。该标炮兵共有三个营，每营官兵568人，其中战斗官兵392人，勤杂人员149人，备补兵27人。每营配备6英寸口径德国克虏伯大炮18门，弹药车18辆，铁炉车3辆，零件车3两，备用弹药车9辆，随营车6辆，骡马410匹（随营车用骡，其余车辆用马）。

新军的编成，尤其是新式炮兵的出现，大大加强了清政府的军事实力。是中国的战争史由冷兵器时代过渡到热兵器时代的关键一步。此后经过北洋军阀时期、国民政府时期的进一步发展，炮兵已成为军队序列里一个不可或缺的兵种。