1975年8月，时任武汉军区副司令员的张震调任总后勤部副部长，他上任前，粟裕代表中央军委与他谈了一次话。张震对粟裕说：“我没有做过后勤工作，怕做不好。”
粟裕听后却说：“这次工作调动是邓小平同志点的将。因为现代条件下作战，后勤问题越来越重要了，你长期从事军事工作，到总后勤部正可以发挥你的长处！”张震听了这番话后，深感自己责任重大，于是欣然决定上任。
当时林彪、“四人帮”在总后制造了大量冤假错案，许多干部被错误审查、关押，总后的正常工作秩序受到严重破坏。张震到任后，首先着手恢复总后的基本运转秩序，他坚持实事求是的原则，在揭查与林彪、“四人帮”有关的人和事中，并不急于给人下结论，而是要求对方讲清问题。在张震的领导下，总后的局面不断朝着好的方向发展。
但没过多久，形势发生了逆转，1975年11月，“四人帮”操纵清华大学、北京大学的极少数人，发起了“教育革命大辩论”，矛头直指邓小平。在不久后的一次会议上，张震见到了邓小平，由于是特殊政治环境下的见面，张震对此印象特别清晰，他后来回忆说：
他（邓小平）虽然沉默寡言，但表情依然十分坚毅。我问他身体好吧？他说：还好。我说：您多保重，留得青山在，不怕没柴烧。他沉思着，没有接我的话题。我想，他一定有很多难处。谈话没有继续下去。
后来“教育革命大辩论”愈演愈烈，发展成为全国性的“批邓、反击右倾翻案风”运动，张震对此进行了坚决抵制。在总后召开的纪念长征胜利40周年大会上，张震着重讲了红军长征的重大意义，讲了毛泽东、周恩来等老一辈革命家的丰功伟绩，讲了后勤战线应该如何继承与发扬红军的光荣传统，他在讲话中还传达了毛泽东对邓小平“人才难得”的评价，这在“批邓”已经形成狂澜的形势下，真是难能可贵！
“四人帮”被粉碎后，中央军委决定在总后勤部部长张宗逊生病期间，由张震主持总后工作。1978年2月，张震正式担任总后勤部部长，他开始全面主持总后的拨乱反正工作。
为了尽快为受迫害的同志平反，总后专门成立了甄别平反办公室，集中审理冤假错案。在张震和总后勤部政委王平领导下，总后党委对案件逐一复查核实。经过大量细致工作，总后所属单位分别给2754名干部、群众和113个假集团案平了反。
1978年11月22日，总后党委在北京首都体育馆隆重召开平反昭雪大会，与会人数达1.3万多人。张震在这次大会上公开宣布为李聚奎、洪学智、饶正锡等829人平反昭雪。遭受过迫害的同志悲喜交集、热泪盈眶，纷纷表示：是党给了自己第二次政治生命，一定要努力为党工作，为后勤建设再立新功。
1978年5月11日，《光明日报》刊登特约评论员文章《实践是检验真理的唯一标准》，这篇文章发表后，在党内引发了巨大的争论。张震仔细地阅读了这篇文章后，明确表示：“我仔细阅读了这篇文章，觉得它阐述的观点是对的。我认为，既然是马克思主义者，是彻底的唯物主义者，就不怕接受实践的检验。”
当时总后机关、部队的有些同志受“两个凡是”的束缚，对实事求是地修正毛泽东晚年的一些错误观点、改正毛泽东晚年所做的某些不符合客观实际的决定，有些想不通，个别人甚至有抵触情绪。张震、王平在总后党委召开的多次会议上，针对干部队伍的上述思想状况，反复讲清真理标准讨论的重大意义，要求各级领导干部要旗帜鲜明地支持真理标准的讨论，带头坚持实践是检验真理的唯一标准，解放思想，实事求是，转变作风，做好工作。总后勤部的做法在当时的全军大单位中是比较早的。
1978年11月10日，中央工作会议在北京召开，张震被分在东北组，陈云也被编在这个组，大家在开小组会时讨论得很热烈。在12月4日的小组会上，张震再次谈了自己对真理标准讨论的认识，他说：
我认为，我们跟随毛主席南征北战几十年，对毛主席有着极其深厚的感情，在革命实践中深切地认识到，毛主席是伟大的马列主义者，他的历史功绩是不可磨灭的。但并不是说毛主席没有缺点和错误，我们不能要求他的每条指示都百分之百的正确。
在战争年代，毛主席作出战略决策，从来都是根据实际来决定的。当情况发生变化时，他总是及时改变决心，修改计划，作出合乎客观实际情况的决定。就是在社会主义建设时期，毛主席发现自己的决定与实际情况不相符合时，也能够及时改变。这样的例子也不少。
后来邓小平看了张震的发言简报，他称赞道：“张震懂得在思想路线上进行拨乱反正，这个部长懂政治！看来，总后的思想路线也对头了！”
在拨乱反正过程中，张震和总后党委一班人都十分注重开拓后勤工作的新局面。1978年4月28日至6月5日，新中国建立以来规模最大的一次全军后勤工作会议在京召开。这次会议明确规定了我军后勤建设的指导思想，制定了后勤战备建设的规划纲要，提出了后勤现代化建设的构想。会后，总后对机关业务部门进行了整顿，并组织机关干部深入基层调查研究。
从1975年8月到1978年，张震在总后勤部工作的这3年，正是中国历史转折的关键时期。张震主持的平反冤假错案工作，为2754名干部群众恢复了名誉；他旗帜鲜明地支持真理标准讨论，推动了思想解放；他领导制定了我军后勤现代化建设的规划，为后勤建设奠定了基础。