1971年，受陈伯达案件的影响，党中央决定对北京军区进行大整顿，打散原有的军区领导班子，重新任命党、政、军负责人。原北京军区的一把手郑维山在此次整顿中被免去职务，转往基层劳动、学习，一直到动荡结束后才被重新召回。

郑维山参加革命的时候还不满14岁，整个人还没步枪高，上级首长不忍心让他上战场，便安排他在民兵组织服役，平时执行一些警戒、放哨、传信的简单任务。15岁那年，他跟着乡里的赤卫队投奔了红军，因为他为人比较机灵，而且跑得很快，因此被选送到徐帅身边当传令兵。

徐帅很喜欢这个半大小子，平时对他很是照顾，不仅亲自教他识字，而且还传授给了他很多简单的军事技能。16岁时，他被分派到战斗部队服役，历任班长、排长，18岁时，他因为作战勇敢、政治觉悟高，已然被擢升为团政委，半年后，徐帅又钦点他到27师担任师政委，堪称“少年英才”。

抗战时，郑维山在晋察冀军区服役，解放战争爆发后，他出任华北军区某纵队司令，在1946年下旬到1948年下旬这段时间里，他多次率军主动出击，与友军通力合作给予敌人沉重打击，累积歼灭了8万多国民党军。华北战事结束后，他奉命驰援西野，从陕西一直打到了甘肃，歼灭了恶贯满盈的马家军，为在西征中牺牲的红军战士报了仇。

1951年，中央军委钦点他出征朝鲜，1954年，他被召国内工作，次年就任北京军区副司令，60年代初转正为司令。动荡时期，郑维山受到陈伯达案件的牵连，于1971年和军区政委一起被免职，下放到基层农场劳动。徐帅得知此事后，给郑写了一封信，让他不要难过，稍微坚持一下，党中央未来一定会为他平反。郑维山在给徐帅的回信中显得很乐观，他直言自己本就是农民出身，现在算是回归“老本行”了，没有什么牢骚可发的，种地也是干革命嘛！

1976年，周总理和毛主席先后逝去，郑将军得知这个悲痛的消息后备受打击，一连好几天他的精神都很萎靡，有时坐着就会不由自主的流泪。子女们很担心他的身体情况，干脆向单位请假，一直陪在他的身边，帮他渡过了这段人生的低谷期。

时间来到1978年，徐帅在某次军政会议上提出要尽快搞清楚1971年北京军区的内部问题，为受了委屈的同志平反，总政部闻讯后马上派人去看望郑维山，并请他回北京疗养、待命。在此期间，许世友和韩先楚将军先后来看望他，许世友拉着他的手说“你这些年去了哪里？我一直很担心！”，郑摆了摆手，颇为潇洒的说自己奉毛主席的命令到基层去考察了，不小心就多待了些时日，让大家费心了。

1979年，经由党中央和总政部通过，郑将军正式获得平反，他的军籍和党籍也获得恢复。80年代初，党中央决定派遣他到兰州军区工作，邓公在和他谈话的时候，专门勉励他要专注于部队建设工作，尽快把部队的战斗力提上来，同时也要多注意培养、选拔年轻人，为解放军留下火种。郑认真贯彻邓公的指示，在任期内严抓部队训练，为了积累实战经验，他还多次派遣部队到西南前线与越军作战。除此之外，他还带领麾下官兵在大西北植树造林，有效的遏制了土地沙化的问题。1985年，他的服役期满，退出部队，转往北京养老。

晚年时，郑维山意外得了肿瘤，医生和亲属们为此很紧张，一副如临大敌的样子，但郑老本人却镇定自若，他对于生死早就已经看淡了，没有任何心理负担，该吃就吃，该睡就睡，从来不会怨天尤人。1999年，他的病情进一步恶化，他预感到自己可能已经撑不下去了，于是便将子女们叫到身边来，交代了后事，他表示自己死后不需要开追悼会，葬礼尽量从简，不要给党和国家添麻烦。

2000年，这位老将军走到了生命的尽头，子女们按照遗嘱，先将他的遗体交给卫生部门解剖，随后按照规定火化，骨灰带回老家撒在大山里。而他的遗产则全部捐给党组织当党费，子女们只分到了几本书和几封信作为念想。值得一提的是，郑老的儿子也是一位出色的军人，曾受领中将军衔，是解放军的核心骨干之一。