希特勒一直很担心德国国防军不服从自己的命令，在希姆莱的鼓动之下，1934年9月，希特勒下令组建一支只听命于希特勒一人的特殊部队，即“党卫队特别机动部队”。其成员主要来自纳粹党在全国各个主要城市的“政治预备队”，由一位具备杰出军事才能的前国防军军官保罗·豪赛尔担任指挥官。

豪赛尔将德国国防军专业的军事技能训练、遵守纪律的军人准则，以及勇敢无畏的作战意志带进党卫军部队，很快就使其具备像德国国防军部队一样的作战能力。1939年5月，党卫军特别机动部队组建了首个炮兵团。

党卫军特别机动部队有“德意志”、“日耳曼尼亚”、“元首”三个团，一个炮兵团，以及工兵营、通讯营、侦察营等支援单位，与德国国防军一个师的兵力相当。在攻打波兰前，希特勒特别下令，由国防军和党卫军混合组成一支部队，即“肯普夫装甲师”，“帝国”师首次亮相第二次世界大战。

1939年9月1日，150万德军对波兰发动闪电战，第二次世界大战正式爆发。在威力强大的闪电战之下，拥有100万军队的波兰被击败。德军伤亡3.8万人，波兰军队伤亡11.4万人，近九十万波兰军队被俘。不过，由于作战经验不足，以及缺乏协同作战意识，肯普夫装甲师在入侵波兰的战役中，表现并不突出。

波兰战役结束后，肯普夫装甲师被解散，德国正式组建了“党卫军特别机动部队”师。保罗·豪赛尔对其进行了6个月的加强训练，并加强了连、营、团级的合同战术演练，以及个别单位的加强训练。

1940年5月10日，德军对英法联军发动了“镰割”行动，党卫军特别机动部队师被编入第18集团军，隶属于德国B集团军群，由老将费多尔·冯·博克指挥，负责进攻荷兰、比利时，以吸引英法联军主力进入比利时。党卫军特别部队师迅速抢占了荷兰多座大桥，5月14日，党卫军特别机动师的“元首”团攻入阿姆斯特丹，荷兰沦陷。

随后，党卫军特别机动师跟国防军主力一起南下，在敦刻尔克歼灭了英法联军的后卫部队，并在之后的一个月，横扫了法国南部地区。希特勒对党卫军特别机动师在法国战役中的表现极为满意，并决定扩大党卫军部队的编制和规模。1940年12月21日，党卫军特别部队师更名为党卫军帝国师，后又更名为党卫军“帝国”摩托化步兵师。

在法国南部进行大规模摩托化作战训练的同时，党卫军帝国师又得到了一个高射炮营和一个自行火炮营的火力加强。1941年4月6日，德国入侵南斯拉夫。6天以后，帝国师摩托车营二连连长克林根伯格中尉带领一支只有6个人的小部队冲进了贝尔格莱德，迫使当时的贝尔格莱德市市长宣布放弃抵抗，帝国师全面占领南斯拉夫首都，克林根伯格也因此获得了骑士十字勋章。

1941年6月22日，德国入侵苏联，帝国师作为古德里安第二装甲集群的一部分，参加了进攻苏联的军事行动。帝国师在明斯克、斯摩棱斯克等地给苏军以重创，并迅速占领了叶利尼亚，为德军打开了通往莫斯科的大门。之后，帝国师转头南下，参加了基辅战役。9月16日，“帝国”师攻占乌代河畔的普里基，堵死了苏联西南方面军撤退的道路。

9月18日，苏军两个满员师，集中大批重型KV坦克、中型T-34坦克，在飞机轰炸的支援下，向“帝国”师的防线发起进攻，企图突破德军的包围圈。然而，苏军进攻了5天，也未能突破帝国师在罗姆内布置的防线。随后，德军第4装甲师赶到，包围圈内的苏军失去了最后突围的机会。基辅战役，苏军66.2万人被俘，19.3万人阵亡。