1986年夏天，党的“十三大”召开之前，为了进一步推动干部年轻化，中央内部提出了老同志全部退下来的方案。聂荣臻看到这份方案后，立即在上面签上了自己的名字。
7月30日下午，中央指定的人事安排小组成员王震受中央委托，就“十三大”的人事安排来征求聂荣臻的意见。王震对聂荣臻说：“小平同志提出来，‘十三大’上，他也全退。”
过了许久，聂荣臻才开口缓缓说道：“我认为，现在是过渡期，局面还不稳，小平暂时还不能全退，他可以不参加常委会。他全退了，不当军委主席，一旦有事，怎么号令全军？只有他能镇得住，他在，军队就不会乱。所以，小平还不能全退。”王震听后频频点头。
王震走后，聂荣臻起身到院子里散步，散步时一语未发，只是沉思，他散完步回到客厅后说：“还是写个正式的意见吧，说准确些，让王老带到北戴河去。”（当时中央领导正集中在北戴河，研究“十三大”有关问题。）
秘书根据聂荣臻的意见，连夜起草好了一封写给中央的信。第二天，秘书把信的内容念给聂荣臻听，聂荣臻反复听了两遍，才点头同意说：“就叫‘备忘录’吧，快请王老来带走。”
聂荣臻在“备忘录”里说：
现在，我们党实际上的领袖就是小平同志。他是众望所归，自然形成的，无论党内外、国内外，一致公认他是我们的领袖。在当前形势下，小平同志不是退的问题，应该是继续进。他的健康情况也允许他再领导大家奋斗几年。由于我们现在没有党的主席职务，那就在政治局常委中仍然保持小平同志的重要的领导地位……人们对包括小平同志在内的政治局常委的充分信赖，正是构成我们今天建设事业发达的重要因素。
关于军委主席一职，还是由小平同志兼一个时期好。当前大仗是一时难打，但自从宣布军队整编，裁军百万以后，基层思想很不稳定。如此时小平同志再退出，确实对稳定军心不利。
后来王震带着“备忘录”，到北戴河正式向中央进行了汇报。邓小平听后感叹道：“这个聂老总，考虑得真周到！”
据说聂荣臻的这个意见在当时起到了很大的作用。后来在党的“十三大”上，“四老全退，三老半退”。“四老”是指叶剑英、徐向前、聂荣臻、邓颖超，他们辞去了所有的职务；“三老”是指邓小平、陈云、李先念，他们虽然退出了中央政治局常委会，但仍保留了一定的职务，邓小平仍任中央军委主席，陈云任中顾委主任，李先念任全国政协主席。