孙立人感到不服，立刻反驳，导致场面一度变得非常尴尬。经过一段短暂的沉默之后，蒋介石挥了挥手，示意孙立人可以离开了。
对于一个军人来说，被告知「不擅长作战」无疑是极大的羞辱。孙立人愤怒到脸色苍白，对自己的家人说道：「他（指蒋介石）怎么能用‘不擅长作战’这种话来刻意羞辱我呢！」
孙立人对政治形势的敏感度很低，直到那时他还没完全意识到事情的严重性。他也没想到，那将是蒋介石最后一次召见他。过了一周多，由蒋经国负责的情报机关宣布破获了所谓的「兵变案」，随后立即将矛头对准了孙立人，紧接着一网打尽的行动展开了。
孙立人以擅长训练部队著称。
1947年8月，孙立人从东北被调走，担任了国民党的陆军副总司令。有人认为，这是因为蒋介石对孙立人持怀疑态度，从而剥夺了他的军权。
但这与事实不符。孙立人在1947年4月就被提升为东北保安副司令长官，仅仅四个月后他又成为了陆军副总司令。在不到半年的时间内，他完成了从军长到保安司令部副长官再到陆军副总司令的跃升，这在蒋介石的将领中极为罕见。
很多人忽视了一点，那就是孙立人晋升为陆军副总司令的同时，东北保安司令部被撤销，而在上海休养的杜聿明失去了他的长官职务。有趣的是，蒋介石对这位学生并没有任何表示。杜聿明整整闲置了一年，直到徐州「剿总」成立，他才得到了副总司令的职位。
孙立人有「善于训练部队」的美誉。在担任税警总团团长期间，他的团在各项考核中排名总团第一。即便税警总团装备精良、战斗力强大，但因不属于中央军，总被蒋介石视为次等。淞沪会战后，蒋介石因税警总团损失惨重，认为其难以为继，指示原总团长黄杰将残余部队重组为一个师，并赋予中央军的番号（即第40师）。
黄杰带走了税警总团的精英力量，对数千名伤员和体弱者不闻不问。这些身体康复的人无处可去。于是孙立人前往武汉，求助于宋子文，宋子文和孔祥熙商议后，为孙立人提供了一批装备，让他重建税警总团。孙立人以被黄杰遗弃的税警总团成员为骨干，迅速重组了部队，由于蒋介石已下令解散税警总团，重组的部队更名为「缉私总队」。
经过两年的艰苦训练，到了1941年，缉私总队已成为一支拥有六个团的精锐部队，装备先进、训练有素，虽被视为杂牌军，其战斗力却不亚于国民党的主力军。
当戴笠担任国民政府财政部缉私署长后，他派遣手下特务检查缉私总队，挑出许多毛病，其中一项居然是：「缉私部队训练得这么好有什么用？反正也不用去打仗。」
孙立人看着自己辛苦训练出的部队不仅无法保留，自己可能也将被迫离开。他更不能忍受的是，这支精锐部队即将成为戴笠旗下军统的看家护院「私兵」。大为不满的孙立人，趁着去重庆的机会，正巧太平洋战争爆发，军委会决定组建一支远征军，赴缅甸协助英军作战。孙立人找到军政部长何应钦，自愿带队出战，何应钦正愁于拼凑部队，自然欣然同意。
戴笠不情愿地将缉私总队中的三个团交给孙立人，编为新的第38师，派往缅甸前线。
第一次远征缅甸失败后，孙立人的新38师被调往印度的兰姆珈训练基地，开始接受美式装备和训练。在训练期间，孙立人常亲临前线，亲自指导官兵，迅速提高了该师的战术水平。
新38师的表现使戴笠刮目相看。孙立人后来升任新一军军长，有次前往重庆公务，戴笠热情款待，意图拉拢。毕竟，对于新38师及新一军的战绩，戴笠也可以拿来吹嘘，毕竟这支部队与军统的缉私武装有着不解之缘。
在离开东北之前，孙立人最多只指挥过一个军。加上与杜聿明的不和，蒋介石对他的军事能力评价并不高。然而，孙立人「善于训练部队」的名声却很响亮，蒋介石对此印象深刻。在孙立人晋升为陆军副总司令后，蒋介石又指派他兼任陆军训练司令，这是蒋对他的重用。
蒋介石与孙立人的「蜜月期」
虽然孙立人获得了训练司令的头衔，但实际上并没有部队供他训练。作为陆军司令部的副职，他实际上无权干涉蒋军的训练工作。后来，在宋子文的推荐下，孙立人被派往台湾，负责改建和扩展原有军事基地，招募和训练新兵。
1949年1月，蒋介石暂时下台，离开南京前往溪口「远程操控形势」，在离开前对人事进行了大规模调整，其中一项就是让他的亲信陈诚担任台湾省主席兼警备总司令。这时的台湾已经成为蒋介石考虑的最后退路，地位非常关键，掌握数万新兵训练的孙立人因此变得非常重要。
据蒋介石的长期侍卫长俞济时回忆，蒋介石在上海被解放后，曾一度在舟山群岛附近的军舰上徘徊，不愿前往台湾。原因是有传言称陈诚野心勃勃，似乎有意取代蒋介石。
陈诚长期受到各方面的攻击，拥有众多政敌。在过去，蒋介石绝不会相信这些传言。但情况已变，没有多少退路的蒋介石变得极其警觉，宁愿信其有，也不愿错过任何风险。但不前往台湾显然不是选项，这时蒋介石立即想到了孙立人。
蒋介石绕过陈诚，直接命令孙立人率部队在基隆港口迎接他。见到孙立人时，蒋介石直接询问：「孙司令，这里安全吗？」
孙立人回答：「台湾并不归陈诚管，谁敢多言？至于安全，只要我在，绝对没问题！」
被誉为「小委员长」的陈诚，发现「委员长」到台湾居然没有预先通知他，明白了蒋介石对他有所怀疑，于是急忙去见蒋介石，并进行了解释。经过一段时间的观察，蒋介石发现陈诚并没有背叛的迹象，因此恢复了对这位亲信兼「干女婿」的信任。
这次事件让陈诚不敢对蒋介石产生任何不满，但他对孙立人的那句「台湾并不归陈诚管」却耿耿于怀，这句话深深地刺激了本就不够宽广的陈诚。
对于孙立人在基隆的迎接表现，蒋介石非常满意，不久后便任命他为台湾防卫总司令。此时，孙立人、陈诚以及兼任国民党台湾省党部主任委员的蒋经国，成为了国民党在台湾最有权力的三人。
在1950年，当顾祝同败退到台湾之后，他遭受了许多人的弹劾。他之前担任的陆军总司令职位，后来由孙立人接替。到了1951年，孙立人晋升为国民党的陆军二级上将。
1947年3月时，孙立人还仅是新一军的军长。仅仅四年后，他就晋升为国民党军队中的铨叙二级上将，并且还担任了陆军总司令和台湾防卫总司令的职位。这种快速的晋升，在蒋介石领导的黄埔军校出身的将领中是独一无二的。与此同时，孙立人在税警总团服务时的上级，黄杰，此时仅为中将，并名义上是「国防部副部长」，同时被法国人限制在越南的富国岛上。
孙立人虽然在台湾地位显赫、权力巨大，但似乎与周遭的环境格格不入。逃亡台湾的国民党军政人员中，非蒋介石系的人物如白崇禧、薛岳等都被边缘化，他们也都明哲保身，保持沉默。掌握主要职位的是蒋经国系的人员和黄埔系的将领，而孙立人与他们没有共同语言，并且不喜欢蒋经国系人员的作风。由于他性格直率，经常在公共场合表达不满，很快就触怒了许多人。
之前，老蒋还需要依赖孙立人训练的新军来保护自己的安全。但随着中国大陆的完全解放和数十万国民党军队涌入台湾，老蒋对孙立人的态度开始发生细微的变化。孙立人毕业于美国军校，不是黄埔军校出身，不是江浙籍，也没有在蒋介石担任校长的陆军大学等地学习，最初还是被分配到非正规部队，显然，他并不符合蒋介石选用人才的「标准」。
到了1953年6月，被软禁在越南超过两年的黄杰及其部分国民党残军被陆续送往台湾。抵达台湾后，黄杰受到了蒋氏父子的热烈欢迎，并不久后升为「陆军二级上将」。
黄杰是黄埔军校第一期的学生，与蒋经国关系非常好。蒋氏父子商议后，决定用黄杰来替代孙立人的位置。到了1954年，孙立人在完全不知情的情况下，突然被调任为名义上的上将参军长，「陆军总司令」和「台湾防卫总司令」的职位则由黄杰接替。
从理论上讲，失去军权的孙立人已不构成威胁，但这仅仅是打击他的第一步。孙立人回忆，1955年5月28日，老蒋召见了他，这也是他最后一次与老蒋见面。
会谈不欢而散后，老蒋还给了孙立人一个「打仗无能」的评价。孙立人回去后，对此深感不满。这也显示了孙立人在政治上缺乏敏感性，他没有去探究老蒋召见他的真正目的，而是纠结于「是否真的不擅长打仗」的问题上。
一周后，老蒋计划参加在6月6日于台南举行的军事演习。但在演习前夜，原本应陪同前往的老侍卫长俞济时在家清洗枪支时意外走火，子弹击中大腿，因而无法同行。
虽然意外走火的事情并非没有发生过，但俞济时的这一事件时间点非常敏感。已经掌握了一些「证据」的蒋经国，借此机会向老蒋报告了刚刚破获的一起「兵变案」。长年累月跟随老蒋的俞济时，因这次难以说明的走火事件，被迫辞去了自己的职务，并提前退休。
蒋经国手下的情报人员声称，孙立人的旧部下郭廷亮、江云锦等人，计划在老蒋前往台南检阅演习期间，发动兵变。
老蒋非常愤怒，命令蒋经国严查此事。很快，郭廷亮等一百多人被逮捕。经过审讯，直接将责任指向了孙立人。到了8月，孙立人正式被免去参军长职务，一家人被赶出台北的官邸，转移到台中一栋房子里，开始了长期的软禁生活。
台湾当局一直没有对所谓的「孙立人案」作出最终的判定，导致孙立人没有固定的收入，每月仅能领取少量的生活费。他需要负担家庭生活，生活十分拮据。为了补贴家用，孙立人在家中种植玫瑰，让家人拿去卖。当地人出于同情孙立人，纷纷购买，这些玫瑰花被称为「将军玫瑰」。
据孙立人的家人回忆，面对蒋氏父子的「不杀、不审、不问、不判、不抓、不关、不放」的政策，孙立人虽然心有不甘，但在公众场合他选择保持沉默。这段时间，孙立人更多是为了家人考虑，他不希望孩子们再受到牵连。晚年的孙立人，曾多次向家人提起他与老蒋1955年的最后一次见面，显然他对老蒋的那句「你对于部队训练很好，但打仗不行」的评价始终无法释怀。
1988年，在蒋经国去世不久后，孙立人结束了长达33年的软禁生活，重新获得了自由。但那时，他的健康状况已经大不如前，两年后就去世了。
2014年7月，台湾的监察机关确认郭廷亮当年是在刑讯逼供下被迫写下的自白书，这项调查间接地为孙立人洗清了冤屈。遗憾的是，这一切已经发生了十四年后的孙立人无法得知。
