1976年10月，“四人帮”被一举粉碎，主犯相继被隔离审查。在“四人帮”之中要数姚文元原先的职务最低，也因此对他的量刑较轻一些，最终姚文元只被判处有期徒刑20年，刑期从1976年10月算起。

在姚文元服刑期间，他的妻子金英独自带着三个女儿生活，并没有抛弃姚文元，还会带着孩子到狱中看望他。作为姚文元的家属，金英和三个女儿自然受到了影响，他们搬出了原先的机关宿舍，住到了普通的居民楼。

即便是受到了姚文元的影响，金英也没有抛弃他，并且把孩子照顾得很好，他们的大女儿已经结婚了，金英和二女子与小女儿一起住，分别彼此照顾，遗憾的是她没能等到姚文元出狱就不幸病逝了。

1996年10月，姚文元刑满释放。可就在姚文元出狱前的一个月，他的妻子金英病逝了，因此只有女儿来接他出狱。此时的姚文元已有65岁，走在街上跟普通人无异，丝毫看不出他曾经是一个大官。

姚文元得知妻子病逝非常伤心，他原本被安排在湖州生活，不过为了给妻子处理丧事，他经批准之后到了上海。1997年7月，姚文元在上海青浦区的福寿园购买了墓地，把妻子金英的骨灰安葬了。

姚文元为妻子立碑，墓碑是黑色大理石的，一面刻有“真理真情”，另一面则刻着一首词，词的末尾两句是“不改初衷常历历，年年化作同心祭。”读来有一种凄美之感，据说这词是姚文元自己写的。

墓碑是以姚文元女儿名义立的，不过为了避免被外人知晓，立碑人只写了女儿的名，没有写姓。后来的清明节或是祭日的时候，姚文元也会亲自来祭奠妻子金英，不过他一直比较低调，没有引起他人注意。

在忙完期间的葬礼之后，姚文元回到了组织上为他安排在湖州的住处。姚文元把晚年主要的精力放在了写回忆录上，为此他甚至还找到组织提要求，希望能够让自己的回忆录出版。

当时有香港的出版社找到姚文元，表示愿意出高价购买他的回忆录版权，不过他并没有答应。姚文元更希望自己的回忆录能在内地出版，可是他的书稿送去审核之后，迟迟没有下文。

不过考虑到姚文元生活方面的需要，组织上提高了对他的待遇，并且还安排了人照顾他。2005年12月23日，姚文元病逝了，终年74岁，他是四人帮之中最后一个去世的，2006年1月6日，姚文元去世的消息正式对外公布。

然而姚文元在去世之后却留下了一个谜，那就是无人知道他葬在哪里。一直到2009年，作家叶永烈在文章中才揭开了这谜题，原来姚文元在临死前叮嘱了，他要与妻子金英合葬。

不过姚文元为了不影响女儿的生活，他学了一回武则天，没有单独立碑，相当于是给自己留下了“无字碑”。姚文元这样做可谓是用心良苦，不仅避免影响女儿，也可以任由后人去评价。