1982年的一天，就在許世友準備前往北京參加人大會議之前，楊尚昆取消了許世友的專機。
當楊尚昆將這一決定告訴耿飈後，耿飈驚訝不已。因為當時許世友還是中顧委副主任，相當於是副國級，按照當時的規定，許世友這種級別的領導到北京開會是由專機接送的。
耿飈覺得，楊尚昆這樣安排不合適。更何況，許世友的脾氣是眾所周知的， 這樣突然取消他的專機，他能不生氣嗎？
對於耿飈的擔心，楊尚昆卻說： 「我這樣做是為了他好，我相信許世友同誌是個明事理的人！許世友同誌粗中有細，他應該能明白我的意圖……」
聽到這裏，耿飈還是一頭霧水。他還是不理解楊尚昆為何要取消許世友的專機，更不理解楊尚昆為何說這是為了許世友好。
但正如楊尚昆所料，許世友不但沒有生氣，在北京見到楊尚昆後，還對楊尚昆表達了感謝： 「你凡事為我著想……」
許世友的女兒華山說：「父親的精明，一般人不容易看透。」曾經給許世友做過四任參謀長的賈若愚也說：
「別以為許世友司令是個粗人，他是倚粗賣粗，粗中有細，非常精明。許世友司令的精明，別人不容易看透。很多幹部都很精明，在對待具體的人、具體的事情上精明，與許世友司令比起來，根本不在一個檔次上……」
在父親的身上，華山學到了很多。
很小的時候，許世友就告誡女兒：說話、做事一定要留有余地。所以，華山很早就懂得與人搞好關系。
一次，同桌高友銘說了華山幾句，華山不開心，受不了了，回家向父親傾訴。
許世友聽後告訴女兒：
「我們這些人高官厚祿，阿諛奉承的人不少，但是，在這樣的情況下，能批評你的人，反而是值得結交的。這種人在困難的時候，是不會離開你的……」
華山恍然大悟，將父親的話轉告給同桌高友銘。此後，倆人一直是密友。
1979年，許世友主動辭去工作，回到南京安度晚年。
華山覺得，這是父親一生中最後一次主動做出的政治選擇，是非常睿智的。
此後，許世友深居簡出，很少與人來往。
在這之前，光明日報發表了一篇題為【時間是檢驗真理的唯一標準】的文章，在全國範圍內引發了「真理與標準問題的」大討論。
對於毛主席，許世友有著特別的感情，他曾對女兒說：
「毛主席救過兩次我的命！」
因此，在許世友聽到有人誇大批評毛主席缺點時，他憤怒不已，馬上提出反對意見，並且直言不諱的說出自己的看法。.
許世友表示，既要提出批評，又要堅持實事求是。
但是，許世友的這個舉動卻讓一些別有用心的人抓住做文章，批評他守舊走不出舊思想，還說否定「兩個凡是」就是攻擊毛主席等。
更誇張的是，甚至有傳言稱許世友已經被抓起來了。
這些抹黑、造謠，讓許世友很是頭疼。同時，中央其他領導也非常擔心許世友，替許世友著急。
基於這樣的情況，楊尚昆決定讓許世友利用這次來北京的機會，讓他自己親自打破謠言。
於是，楊尚昆決定取消許世友的專機，讓他坐民航來北京開會。
當楊尚昆將自己的想法告訴耿飈後，耿飈松了一口氣，但還是擔心許世友不能理解楊尚昆的良苦用心，想要提前向許世友打個招呼，說明取消專機的原因。
而楊尚昆卻覺得沒有這個必要，因為他相信許世友。
沒多久，專機取消的訊息就傳到了許世友的耳中。許世友馬上領會了楊尚昆的良苦用心，叮囑工作人員定民航機票。
不明原因的工作人員為許世友抱不平，忍不住發牢騷，許世友馬上批評：
「不知道你的腦袋瓜子裏整天想什麽，首長取消專機是為了我好！」
當許世友出現在候機大廳後，謠言不攻自破，群眾看到許世友都非常欣喜，還有人熱情的走上前來與許世友握手，許世友高興的沖著群眾揮手。
飛機抵達北京後，許世友按時趕往會場開會。休息期間，許世友主動走到楊尚昆跟前打招呼。
當時，許世友非常激動，他緊緊握住楊尚昆的手久久不放。許世友還想說什麽感謝的話，楊尚昆馬上揮手制止。許世友也就沒有說下去。
作為幾十年的老戰友，他們的心意是互通的，楊尚昆理解許世友，也知道許世友要說什麽。
1985年春節後，許世友被確診為肝癌晚期，許世友知道自己的病情已經無力回天，對於死亡，他表現的非常淡然。
女兒華山得知父親病重後，立即從外地趕回來看望父親。
看到女兒，許世友笑著說：「孩子，爸爸有情況了，爸爸快死了。」
說這些話的時候，許世友的臉上沒有一絲沈重的表情，看上去非常輕松，就像是說一件日常生活中無關緊要的事情一樣。
華山難過不已，不願相信這個事實。許世友再一次告訴女兒現實：
「這次與之前不一樣了，爸爸很快就要去見馬克思了。」
得知許世友病重，很多老戰友紛紛趕來探望。
而當時的許世友已經非常虛弱，連睜眼睛的力氣都沒有了。如果放在以前，老戰友來看望，許世友一定會緊緊握住對方的手不放，他的手勁非常大，很多將軍都曾被許世友握的哇哇大叫，以至於後來再見面，他們不敢再和許世友握手，只是抱拳作揖：「師父，免禮、免禮……」
而現在，許世友卻只能躺在病床上，手指在被單上輕輕的動。
期間，楊尚昆也曾專門代表中央前來看望許世友。
昏迷中的許世友在妻子的呼喚聲中努力睜開眼睛，盯著楊尚昆，良久之後，他艱難的對楊尚昆說了幾個字：
「我完蛋了！」
這年10月，許世友病逝，享年80歲。
由於許世友臨終前曾請求中央同意自己土葬，以陪伴在老母親身邊盡生前沒有機會盡的孝。
鄧小平批準後，為了低調行事，同時下令不開追悼會、不登報宣傳、不立碑。
後來，為了方便參觀的群眾尋找許世友墓， 楊尚昆和徐向前以個人名義，給許世友立了一塊碑。
