1944年3月，“大德意志”师跟着残破不堪的南方集团军群撤往罗马尼亚边境。该师在边境城市雅西同苏军作战，以掩护友军撤往萨拉比亚。“大德意志”师防线总体比较平静，他们获得了宝贵的休整时间。刚刚组建不久的1029掷弹兵团被解散，被分配到“大德意志”师各部，部队战斗力得到了极大的恢复。1029团的1、2炮兵连成了炮兵团的10、11连，并在此基础上重建炮兵团第4营。

1029团的防空营被加强给师属防空营，防空营成了六个连的庞大编制。此前遭受重创的燧发枪兵团2营也得有重建，而贝瑟斯上尉的燧发枪兵团一营则回本土换装为一个全机械化的SPW（半履带装甲车）营，放眼德军一个师级单位中只有“大德意志”师和装甲教导师一次有两支SPW营。整编历时一个月。

同时重点加强补充的还有侦察营，得到足够的补充兵，还有大量装甲车辆，甚至包括捷克制38坦克，重建后的侦察营缩编为4个连，减少一个，但各连全部满编。虽然1029掷弹兵团的补充使得“大德意志”师实力得以重新恢复，兵员减少了，为确保战斗力，两个主力装甲掷弹兵团都从4个营缩编为3个，每营由5个连缩编为4个。

“大德意志”师的结构性重组进行了好几个月，同时也补充了许多装备。装甲团基本满编，有四号和虎式坦克各40辆，豹式坦克80辆。两个步兵团也拥有数量众多的装甲运兵车，这是一支拥有160辆坦克、40辆突击炮、总兵力两万左右的部队。

在1944年4-5月间的特尔古—弗鲁莫斯防御战中，“大德意志”师几乎打残了科涅夫的乌克兰第2方面军麾下的装甲部队。此战是为科涅夫的耻辱，战后回忆录中对1944年4、5月间的罗马尼亚北部战场只字未提。而貌不惊人、资历不深的曼陀菲尔则借此战脱颖而出，作为东线能员干将的声誉牢牢树立起来，也成为二战后期德军装甲部队的一颗耀眼战星。

在东线德军1944年唯一的一次主动进攻中，德军进攻初开始比较顺利，迫于后劲不足，苏军迅速增援。曼陀菲尔领导的“大德意志”师丢失了一些地盘，不过防线并未崩溃。“大德意志”师陆续从前沿撤出，享受一段难得的休整时间，并接着完成之前中断的结构重组共组。整个6月，“大德意志”师的装甲团得到了40辆豹式坦克和6辆虎式坦克，其它单位得到了140余辆装甲运兵车。完成休整补充没多久的“大德意志”师即将派往最危险的地方充当消防队的角色。

“大德意志”师就接到调往北乌克兰集团军群的命令，但一天后要求迅速调往东普鲁士。“大德意志”师意外接到了要其进攻距离东普鲁士不远的立陶宛重镇维尔卡维什斯基的命令，“大德意志”师和曼陀菲尔对此大为不满和意外，因为大本营根本无法提供任何详细的信息，而且“大德意志”师并未完成集结就又被拆开使用。

结果自然可想而知，虽然成功突入城池，也完成了任务，并摧毁了苏军69辆坦克突击炮和61门火炮，但离开罗马尼亚时齐装满员的“大德意志”师也损失惨重，其中装甲部队自身一个小时就损失80辆以上坦克，其中彻底报废23辆。此战惨痛的损失震惊了参谋总长古德里安和希特勒。曼陀菲尔被召往大本营解释，最后澄清了“大德意志”师损失惨重的原因，是因为副统帅凯特尔误把希特勒的一个尚未形成命令的想法当成了命令，命人下达，导致事起仓促，损失惨重。