1982年的一天，就在许世友准备前往北京参加人大会议之前，杨尚昆取消了许世友的专机。
当杨尚昆将这一决定告诉耿飚后，耿飚惊讶不已。因为当时许世友还是中顾委副主任，相当于是副国级，按照当时的规定，许世友这种级别的领导到北京开会是由专机接送的。
耿飚觉得，杨尚昆这样安排不合适。更何况，许世友的脾气是众所周知的， 这样突然取消他的专机，他能不生气吗？
对于耿飚的担心，杨尚昆却说： 「我这样做是为了他好，我相信许世友同志是个明事理的人！许世友同志粗中有细，他应该能明白我的意图……」
听到这里，耿飚还是一头雾水。他还是不理解杨尚昆为何要取消许世友的专机，更不理解杨尚昆为何说这是为了许世友好。
但正如杨尚昆所料，许世友不但没有生气，在北京见到杨尚昆后，还对杨尚昆表达了感谢： 「你凡事为我着想……」
许世友的女儿华山说：「父亲的精明，一般人不容易看透。」曾经给许世友做过四任参谋长的贾若愚也说：
「别以为许世友司令是个粗人，他是倚粗卖粗，粗中有细，非常精明。许世友司令的精明，别人不容易看透。很多干部都很精明，在对待具体的人、具体的事情上精明，与许世友司令比起来，根本不在一个档次上……」
在父亲的身上，华山学到了很多。
很小的时候，许世友就告诫女儿：说话、做事一定要留有余地。所以，华山很早就懂得与人搞好关系。
一次，同桌高友铭说了华山几句，华山不开心，受不了了，回家向父亲倾诉。
许世友听后告诉女儿：
「我们这些人高官厚禄，阿谀奉承的人不少，但是，在这样的情况下，能批评你的人，反而是值得结交的。这种人在困难的时候，是不会离开你的……」
华山恍然大悟，将父亲的话转告给同桌高友铭。此后，俩人一直是密友。
1979年，许世友主动辞去工作，回到南京安度晚年。
华山觉得，这是父亲一生中最后一次主动做出的政治选择，是非常睿智的。
此后，许世友深居简出，很少与人来往。
在这之前，光明日报发表了一篇题为【时间是检验真理的唯一标准】的文章，在全国范围内引发了「真理与标准问题的」大讨论。
对于毛主席，许世友有着特别的感情，他曾对女儿说：
「毛主席救过两次我的命！」
因此，在许世友听到有人夸大批评毛主席缺点时，他愤怒不已，马上提出反对意见，并且直言不讳的说出自己的看法。.
许世友表示，既要提出批评，又要坚持实事求是。
但是，许世友的这个举动却让一些别有用心的人抓住做文章，批评他守旧走不出旧思想，还说否定「两个凡是」就是攻击毛主席等。
更夸张的是，甚至有传言称许世友已经被抓起来了。
这些抹黑、造谣，让许世友很是头疼。同时，中央其他领导也非常担心许世友，替许世友着急。
基于这样的情况，杨尚昆决定让许世友利用这次来北京的机会，让他自己亲自打破谣言。
于是，杨尚昆决定取消许世友的专机，让他坐民航来北京开会。
当杨尚昆将自己的想法告诉耿飚后，耿飚松了一口气，但还是担心许世友不能理解杨尚昆的良苦用心，想要提前向许世友打个招呼，说明取消专机的原因。
而杨尚昆却觉得没有这个必要，因为他相信许世友。
没多久，专机取消的消息就传到了许世友的耳中。许世友马上领会了杨尚昆的良苦用心，叮嘱工作人员定民航机票。
不明原因的工作人员为许世友抱不平，忍不住发牢骚，许世友马上批评：
「不知道你的脑袋瓜子里整天想什么，首长取消专机是为了我好！」
当许世友出现在候机大厅后，谣言不攻自破，群众看到许世友都非常欣喜，还有人热情的走上前来与许世友握手，许世友高兴的冲着群众挥手。
飞机抵达北京后，许世友按时赶往会场开会。休息期间，许世友主动走到杨尚昆跟前打招呼。
当时，许世友非常激动，他紧紧握住杨尚昆的手久久不放。许世友还想说什么感谢的话，杨尚昆马上挥手制止。许世友也就没有说下去。
作为几十年的老战友，他们的心意是互通的，杨尚昆理解许世友，也知道许世友要说什么。
1985年春节后，许世友被确诊为肝癌晚期，许世友知道自己的病情已经无力回天，对于死亡，他表现的非常淡然。
女儿华山得知父亲病重后，立即从外地赶回来看望父亲。
看到女儿，许世友笑着说：「孩子，爸爸有情况了，爸爸快死了。」
说这些话的时候，许世友的脸上没有一丝沉重的表情，看上去非常轻松，就像是说一件日常生活中无关紧要的事情一样。
华山难过不已，不愿相信这个事实。许世友再一次告诉女儿现实：
「这次与之前不一样了，爸爸很快就要去见马克思了。」
得知许世友病重，很多老战友纷纷赶来探望。
而当时的许世友已经非常虚弱，连睁眼睛的力气都没有了。如果放在以前，老战友来看望，许世友一定会紧紧握住对方的手不放，他的手劲非常大，很多将军都曾被许世友握的哇哇大叫，以至于后来再见面，他们不敢再和许世友握手，只是抱拳作揖：「师父，免礼、免礼……」
而现在，许世友却只能躺在病床上，手指在被单上轻轻的动。
期间，杨尚昆也曾专门代表中央前来看望许世友。
昏迷中的许世友在妻子的呼唤声中努力睁开眼睛，盯着杨尚昆，良久之后，他艰难的对杨尚昆说了几个字：
「我完蛋了！」
这年10月，许世友病逝，享年80岁。
由于许世友临终前曾请求中央同意自己土葬，以陪伴在老母亲身边尽生前没有机会尽的孝。
邓小平批准后，为了低调行事，同时下令不开追悼会、不登报宣传、不立碑。
后来，为了方便参观的群众寻找许世友墓， 杨尚昆和徐向前以个人名义，给许世友立了一块碑。
