在建國之後，楊尚昆同誌長期在中央辦公廳工作，總覽各項軍政事務，深得毛主席的器重。1959年中旬，毛主席專門找楊尚昆同誌談話，提議在廬山召開一次中央工作會議，楊尚昆同誌同意毛主席的意見，隨後便先行前往江西布置會場，並行函邀請中央委員會常委、政治局常委、人大常委、軍委常委以及各省省委書記參會。
此次會議的主要議題是討論農業生產建設中存在的一些問題以及解決方法，毛主席認為，在過去的幾年時間裏，農業建設取得了不少成果，至少不會再鬧饑荒，但同時，主席也表示，農業建設還存在不少不足之處，急需改進和調整。原本會議過程是十分平糊的，一切都有條不紊的展開、推進，可當彭老總上了廬山之後，會議的氣氛便陡然敏感起來。
在1958年下旬，彭老總回老家探親的時候，順便對平江進行了調研，結果發現了很多民生問題，於是老總便將這些問題全都匯總起來，撰寫了一份報告，在廬山會議上送出給毛主席。主席在看了老總的報告後並沒有立即發表意見，而是將報告影印了上千份，分發給參會的代表們，供大家傳閱、討論。
有些代表對於農業生產盲目樂觀，認為彭老總的報告完全是駭人聽聞，存在嚴重的「保守主義」傾向，因此便對彭老總進行了批評。楊尚昆同誌當時並沒有發表意見，他一直緘默不語，保持著理性與客觀。實際上，楊尚昆同誌對於基層農業發展狀況是一定了解的，他知道彭老總在報告中講述的一些情況和現象是真實存在的，但眼下形勢比較敏感，他不方便貿然站出來為老總講話。
當天晚上，毛主席找楊尚昆同誌談話，讓他將今天的會議內容整理成冊，楊尚昆同誌這才意識到，毛主席對於彭老總也是持批評態度的，如此一來，自己就更不能為彭老總打抱不平，否則的話必然會受到波及和牽連。第二天，楊尚昆同誌也跟著大家一起批評彭老總，講了很多違心的話。楊尚昆同誌為此很是後悔，以至於在臨終之前他還一直念叨著自己對不起彭老總。
楊尚昆同誌覺得自己做的第二件錯事便是稀裏糊塗的在平反材料上簽了字，1966年，他遭到居心叵測者陷害，被革除職務關押在一個小院子裏，衣食住行均遭到嚴格管控。那段日子算是楊同誌人生中的低谷期，他的精神和身體遭到雙重折磨，整個人肉眼可見的憔悴。但他卻並因此失去對生活的希望和對革命的期盼，在艱難的日子裏，他將所有精力都放在讀書上，透過學習充盈精神世界，與消極情緒對抗，自始至終保持著良好的心態。
動蕩結束之後，黨中央責令中組部覆核楊尚昆同誌的卷宗，中組部在經過長時間調查後，出具了一份調查報告，其中詳細講述了楊尚昆被冤枉的全過程，但因為一些特殊原因，調查報告存在幾處模糊不清的地方。如果要將模糊不清的地方進行最佳化，勢必還要再調查一些時日，可楊尚昆同誌實在等不及了，他迫不及待想要復出工作，於是便稀裏糊塗的在報告上簽了字。
這給一些人留下了口實，他們在隨後的日子裏不斷諷刺楊尚昆同誌，說他居心不良、黨性不純，楊尚昆同誌曾經多次為自己辯解，但收效甚微，這也成了他革命履歷中揮之不去的「黑點」。1992年楊尚昆同誌退休之後，打算讓中組部重新開機對自己卷宗的覆核，將調查報告模糊不清的地方澄清，但中組部卻認為他此前已經在調查報告上簽字，此時再覆核不符合相關規定，因此便委婉拒絕了他。
1997年，鄧公意外離世，楊尚昆得知這個訊息後很是傷心，他很想去送老戰友最後一程，可他當時正身患重病，根本無法出遠門，因此只能遙祭鄧公。1998年，南方爆發洪災，楊尚昆同誌聞訊後長嘆一聲，低聲說了一句「希望災區的老百姓平安！」，當年9月，他的病情突然惡化，搶救無效離世，臨終前，他留下遺囑，將自己所有的財產捐給災區，用於賑濟災民，這是他為人民群眾做的最後一份貢獻！
