在建国之后，杨尚昆同志长期在中央办公厅工作，总览各项军政事务，深得毛主席的器重。1959年中旬，毛主席专门找杨尚昆同志谈话，提议在庐山召开一次中央工作会议，杨尚昆同志同意毛主席的意见，随后便先行前往江西布置会场，并发函邀请中央委员会常委、政治局常委、人大常委、军委常委以及各省省委书记参会。
此次会议的主要议题是讨论农业生产建设中存在的一些问题以及解决方法，毛主席认为，在过去的几年时间里，农业建设取得了不少成果，至少不会再闹饥荒，但同时，主席也表示，农业建设还存在不少不足之处，急需改进和调整。原本会议过程是十分平和的，一切都有条不紊的展开、推进，可当彭老总上了庐山之后，会议的气氛便陡然敏感起来。
在1958年下旬，彭老总回老家探亲的时候，顺便对平江进行了调研，结果发现了很多民生问题，于是老总便将这些问题全都汇总起来，撰写了一份报告，在庐山会议上提交给毛主席。主席在看了老总的报告后并没有立即发表意见，而是将报告复印了上千份，分发给参会的代表们，供大家传阅、讨论。
有些代表对于农业生产盲目乐观，认为彭老总的报告完全是骇人听闻，存在严重的「保守主义」倾向，因此便对彭老总进行了批评。杨尚昆同志当时并没有发表意见，他一直缄默不语，保持着理性与客观。实际上，杨尚昆同志对于基层农业发展状况是一定了解的，他知道彭老总在报告中讲述的一些情况和现象是真实存在的，但眼下形势比较敏感，他不方便贸然站出来为老总讲话。
当天晚上，毛主席找杨尚昆同志谈话，让他将今天的会议内容整理成册，杨尚昆同志这才意识到，毛主席对于彭老总也是持批评态度的，如此一来，自己就更不能为彭老总打抱不平，否则的话必然会受到波及和牵连。第二天，杨尚昆同志也跟着大家一起批评彭老总，讲了很多违心的话。杨尚昆同志为此很是后悔，以至于在临终之前他还一直念叨着自己对不起彭老总。
杨尚昆同志觉得自己做的第二件错事便是稀里糊涂的在平反材料上签了字，1966年，他遭到居心叵测者陷害，被革除职务关押在一个小院子里，衣食住行均遭到严格管控。那段日子算是杨同志人生中的低谷期，他的精神和身体遭到双重折磨，整个人肉眼可见的憔悴。但他却并因此失去对生活的希望和对革命的期盼，在艰难的日子里，他将所有精力都放在读书上，通过学习充盈精神世界，与消极情绪对抗，自始至终保持着良好的心态。
动荡结束之后，党中央责令中组部复核杨尚昆同志的卷宗，中组部在经过长时间调查后，出具了一份调查报告，其中详细讲述了杨尚昆被冤枉的全过程，但因为一些特殊原因，调查报告存在几处模糊不清的地方。如果要将模糊不清的地方进行优化，势必还要再调查一些时日，可杨尚昆同志实在等不及了，他迫不及待想要复出工作，于是便稀里糊涂的在报告上签了字。
这给一些人留下了口实，他们在随后的日子里不断讽刺杨尚昆同志，说他居心不良、党性不纯，杨尚昆同志曾经多次为自己辩解，但收效甚微，这也成了他革命履历中挥之不去的「黑点」。1992年杨尚昆同志退休之后，打算让中组部重启对自己卷宗的复核，将调查报告模糊不清的地方澄清，但中组部却认为他此前已经在调查报告上签字，此时再复核不符合相关规定，因此便委婉拒绝了他。
1997年，邓公意外离世，杨尚昆得知这个消息后很是伤心，他很想去送老战友最后一程，可他当时正身患重病，根本无法出远门，因此只能遥祭邓公。1998年，南方爆发洪灾，杨尚昆同志闻讯后长叹一声，低声说了一句「希望灾区的老百姓平安！」，当年9月，他的病情突然恶化，抢救无效离世，临终前，他留下遗嘱，将自己所有的财产捐给灾区，用于赈济灾民，这是他为人民群众做的最后一份贡献！
