60年代初，国内“左”的倾向愈发明显，社会各阶级的矛盾也越来越激烈，时任中央办公厅负责人的杨尚昆同志敏锐的意识到，如果继续放任“左倾”不予约束的话，必然会导致严重的后果。

于是他在与少奇同志商议过后，决定采取必要的措施遏制“左倾”，缓和社会矛盾，维护国家长治久安。

然而，让杨尚昆同志始料未及的是，他制定的措施刚出台没多久，便受到了“左倾”思想的猛烈反击，一些激进分子甚至反过来给他扣上了“教条”和“右倾”的帽子。很快，社会意识形态开始影响党中央，党中央随即对杨尚昆同志做出了严厉批评。这让杨同志很是郁闷，他随即去找老战友彭老总诉苦，两人坐在一起聊了很久。

彭老总认为杨尚昆同志的做法是正确的，“左倾”对于国家和政权的破坏非常之大，如果不加以限制的话，必然会酿成恶果。杨同志则自嘲的表示，单凭自己和少奇同志两个人的力量恐怕没办法和“左倾”抗衡，到最后必然要遭到“反噬”。彭老总闻讯后便没有再说话，而是深深叹了一口气。

1965年11月5日，杨尚昆突然接到彭真的通知，得知自己被免除了中央办公厅主任一职，并被调到广东工作。对于这个突如其来的决定，杨尚昆感到茫然和惭愧。

11月8日，杨尚昆向其他几位中办副主任交代了工作，并在11月9日给主席写了一封信，表达了自己工作没做好、心情惭愧的想法，并希望能在前往广东之前当面聆听主席的教诲。11月10日，主席接见了杨尚昆。主席并没有批评杨尚昆，而是赞扬他的工作，并希望他能在广东理顺中央与地方的政策，看看有没有不合适的地方。主席还勉励了杨尚昆，让他好好工作，努力调查研究。

12月10日，中央警卫局专门为杨尚昆挂了一节火车车厢，他离开了工作二十多年的中央办公厅，前往广东省，担任了广东省委书记处书记一职。然而，很快就进入了1966年，这一年是“十年特殊时期”的开始，杨尚昆迅速受到冲击和迫害，并被关押了十二年时间。在这期间，他坚贞不屈，勇敢地同造反派作斗争，拒绝接受任何不实之词，展现了一个党员崇高的气节。

1978年，杨尚昆重新复出工作，担任了广东省委第二书记、广东省副省长等职务。复出后，他迎来了改革开放。由于地理位置的优势，广东省成为全国改革开放的“桥头堡”，在招商引资方面具有无可比拟的优势。在这样的背景下，杨尚昆大力支持改革开放和特区建设，为广东的改革开放创造了良好的开端。

1980年年底，杨尚昆被调回北京，回到部队工作，担任了军委秘书长等职务，致力于我军的现代化与正规化建设。在这段时期，他坚决贯彻执行军队建设指导思想的战略性转变，改革了军队体制，精简整编，使得我军迅速走上了精兵强军的道路。

1988年，他接替李先念成为国家主席，也正式晋升为正国级领导。然而，他在1993年自愿卸去职务，以示退隐。晚年，他安度时光于北京，1998年，他离世，享年91岁。