一九五四年六月一日胡琏奉派出任新组建第一军团司令，下辖四个军、十二个师，司令部设于台大思源校区正对面自来水园区，后迁至中坜龙冈。
胡一任司令三年，在这三年中，胡除盖几所眷宅外，政绩乏善可陈。在胡琏相关著作中，对身膺重任防卫首都的军团司令叙述，仅有短短几行字，暗示胡对此职位未放心上。兼以亏空案，东山岛作战检讨报告，反共救国军整编事务，蒋介石下令禁止港金贸易业务等事件纷扰，令胡颇为烦闷。
胡晚年回忆，原本第一军团司令乃是刘安祺接任，周至柔通知胡给予三个职位，由胡自行挑选，一是参谋次长，一是陆军副总司令，一是黄杰接陆军总司令，遗缺台北卫戍司令由胡调任，胡均婉拒。
讵料命令发布接任第一军团司令就近看管，反而将刘安祺挤走调任澎防部司令，仅辖一个师、一个要塞区，令胡对刘颇感歉意，认为胡来刘去，是胡占刘的职位，心中过意不去。
回过头说，刘玉章出任金防部司令，也是意外。刘原本内定担任第八军军长，命令发布直升金防部司令，军长职务由副军长郭永直升，后随刘玉章赴金驻守。
蒋介石将胡统辖部队全数调回台湾，改派刘玉章人马至金，在当时属不寻常调动，目的是「削藩」，看在胡琏眼里，蒋介石做得如此决绝，难免有「抗争」情绪，不料却被蒋介石指斥为「吴国桢叛变」，暗示蒋胡师生关系，已从「暗斗」升至「明争」阶段，令胡琏唏嘘不已。
蒋对胡琏如此，连蒋经国爱将高魁元，也卷入蒋胡之争。高魁元是古宁头战役反击军总指挥，于一九五○年十二月率十八军驻守澎湖，脱离胡琏指挥序列后，再也没有回归胡的掌握。
一九五五年高魁元升任陆军总部政治部主任，一九五七年春国府当局成立反共义士总队，蒋经国意促高魁元接总队长，高几经考虑接任该职。由于总队长职务属少将编阶，高时任中将主任，虽是兼任，以高阶低占，高愿意接任低阶委任完全破坏军中伦理，应极力避免，然高非但不抗议，甚至表达「欣然接受」意愿，目的是向蒋介石宣誓效忠立场。通过忠贞测试，蒋经国旋即解除高兼任职务，直升副总司令，成为蒋介石最受器重的将领。
前参谋总长赖名汤于日记中批评高的才具至多是「高班长」，但高的官阶随委屈低就，步步高升则是不争的事实。从胡高亲身经历事例显示，蒋胡关系暗潮频生，虽没有刀光剑影，但蒋对土木系或出身十八军将领处处猜防，则是胡摆脱不掉的梦魇。
难怪胡琏常对上门请托将领说：「我保举的，总统一个都不用；我处分的几位将领，他都重用。用人是艺术也是门学问，你们请我保举，不是害了你们。」
当然蒋胡之争暗潮频生，还有一项关键因素，就是陈诚政治地位的升降。胡琏是陈诚一手提拔的将领，国府来台三个完整军的十二兵团，不但听从胡琏指挥，也是陈诚政治资本，于此蒋介石多次暗示胡效忠于蒋，胡以「一事二主两俱无伤」，态度表明支持陈诚，效忠蒋介石，蒋默然不语。
尔后出身十二兵团或土木系将领，于军中备受压抑，即与胡对陈诚支持有关。待胡远走越南，陈诚病故，蒋经国掌握实权，土木系或十二兵团出身的将领始获升迁，陈诚的政治资本经蒋经国成为稳定军系的一股力量，这是蒋介石忌讳所在，也是蒋经国手腕高明的显现。
蒋经国自荐出任金防部司令
蒋经国与陈诚虽有权力之争，但蒋经国在政坛辈分上毕竟与陈诚差了一截，彼此还能维持均衡态势。而胡琏与蒋经国年岁相仿，胡长蒋三岁，反而成为权力竞逐对象。
一九五五年八月二十三日蒋经国处理孙立人案和情报系统整编问题，饱受内外抨击，兼以孔宋家族成员结合情治老将有意将蒋经国逐出情治门墙之外，使蒋经国已有不如归去之感。
为远离台北政坛的是非，蒋曾向其父蒋介石毛遂自荐，恳请辞去本兼职出任金防部司令兼福建省主席，以示沉潜之意。此议遭蒋介石拒绝，但消息传出，陈诚、胡琏等人很不以为然，认为蒋经国出任金防部司令有违军系伦理，何况蒋经国连师长、军长资历都没有，若担任前线指挥官，其他有资历的将领情何以堪？
连带影响军系将领对蒋氏父子领导统御的观感。这也是陈诚、胡琏对蒋经国印象不佳的关键所在。
铺陈胡琏、陈诚、蒋介石、蒋经国四角关系的变化，有助于理解高层决策体制运作与胡琏政治处境的难为。非身历其境者，很难知悉军政关系互动的微妙。
如胡任第一军团司令期间，与美军顾问团、太平洋总司令部、CIA驻台单位之间，关系相处非常融洽，彼此对谈常被援引为军援指标，蒋经国书信集提及胡被美方称誉，如「与美太平洋总司令谈话时引证，……兄在来书中所提供有关供应问题，恉已由家父（蒋介石）分交各单位从速办理矣！……」
类似话语明为称誉，实则告诫，胡不解政治奥妙，于此可见。事业上胡琏常年与美方高层来往已犯政治忌讳，多次登舰与美方密谈，事后虽有书信提及，但规避监控，其心可议。
不说胡琏，谈罗友伦。罗是蒋经国指派的总政战部主任，于生日诞辰接受部属在国宾饭店庆生，旋即接到蒋经国电话，表达祝贺之意，不久送来寿面。此举明为祝贺，实则告诫，令罗友伦冷汗淋漓。胡的登舰密谈与罗的寿诞庆生，故事本质虽有不同，但监控做法却如出一辙，暗示猜忌之心既起，胡琏更加难为。
一九五七年六月胡任军团司令长达三年，是月蒋介石多次召见，意促胡回任金防部司令，胡改推荐由刘安祺或高魁元接任司令。蒋执意要求回任，胡仍婉拒，双方僵持，蒋提出胡晋任二级上将回任金防部司令，胡勉为其难接受，这是金防部成立以来，唯一的特例。
蒋介石之所以要求胡琏回任，原因为：
（一）反共救国军因编遣问题军纪与逃亡现象日益严重，盼胡运用影响力为国防部解决难题。
（二）刘玉章与福建省主席戴仲玉因权责问题常起冲突，造成金门人心浮动，望胡回任处理这则棘手问题。
（三）对手于韩战结束后重兵集结于闽厦，派胡回任坐镇有助于军心士气的提升。
（四）蒋介石有意反攻大陆，胡琏熟悉反攻区闽粤赣地理形势，兼对金门战场了如指掌，不必适应战场环境，即能领兵作战。
（五）国军将领中唯一对两栖、三栖作战有实战经验的就是胡琏，出于「保本」与「破敌」考虑，胡是现阶段最为适合人选。
（六）美军顾问团对胡琏治军颇为称许，兼以九三炮战后，美国军援物资源源不断挹注金门，以胡琏过去与CIA、美军高层交谊密切，胡回任的确是合适安排。
胡琏奉派二度回任金防部司令，行前与蒋介石又因人事问题发生争执。
胡晚年回忆说，金防部司令兼反攻军总司令，为谋战场需要，希望出任师长、团长者必定有战场经验，使能上阵破敌。故而胡建议司令官是否有权责任免师、团长。
蒋介石坚不同意，蒋认为任免文武百官是统帅权威，不宜由司令官径行任免，但为顾全战场要求，蒋勉强同意司令官有任免团长权力，师长以上将领，还是应该接受统帅调度。
对此胡有不同意见，以刘玉章而言，金门一个军、五个师，其中一个军、三个师都是刘玉章五十二军老部队，从东北到上海，转舟山至台湾赴金门，均是久经战阵的雄狮，另二个师，一是罗友伦嫡系部队从东北转战台湾，一是胡琏部队曾参与东山岛战役。这五支驻军部队，都是战场经验相当丰富的善战之师。
而胡再度回任，驻守金门六个师，仅有二名师长有战场经历，其余四名未经会战以上战阵洗礼，显得有些指挥信心不足的窘况，故而胡建议是否将有战阵资历的师长级指挥官优先调至金门任职？兼以胡也顺势呈报三位师长人选供蒋介石裁示。
胡推荐人选依序是李向辰、萧宏毅、雷开瑄，其中李向辰、萧宏毅是登步岛大捷的团长，而雷开瑄则是古宁头大捷的二○一团团长。这三人共同特性是熟悉海岛与岛屿作战。讵料胡的推荐，遭蒋介石拒绝。二人为师长人事争执不休，对胡上任显然不是好兆头。
一九五七年七月一日胡回任金防部司令，此时金门历经一九五四年「九三炮战」，美援物资已进入金门，胡琏无需搞「贸易经商」解决战地困境。
胡回任需要解决的问题，依序为：（一）工事地下化；（二）完成环岛道路铺设；（三）加强部队战训；（四）整建营房；（五）持续构筑指挥所扩建工程；
（六）办校兴学整建校舍；（七）侦测敌情适时发起反制作战；（八）改善军民关系严整纪律；（九）秘密筹建反攻兵力建立沿海据点；（十）协助整编反共救国军。
这些项目看起来都是照表操课，但有一项必须规避美军顾问团干涉，即是隐藏于洞穴内部的海龙舟操演。
该批海龙舟是蒋介石请托孔宋家族筹资，透过日本秘密建造快速舟艇运载部队冲向厦门海滩，此即所谓「海龙蛙兵」的由来。
对于最高当局的保密措施，就胡琏来说，与其保密，不如坦诚以告，而免事后解释。于是胡不顾禁令，委婉告知美军顾问，这支部队存在目的。讵料胡的举措，引起蒋氏父子的不满，认为胡与美军顾问关系密切，有损「尊严」。严令胡要把握分寸，不得「坦诚」告知美军顾问金门兵力部署全况。
胡琏事例，反射于爱将高魁元身上，却是不同的做法。
高魁元担任第二兵团司令期间，某次与美军顾问乘车视察军务，在车上该顾问说了不得体的话，隔没几天蒋经国会见顾问团高层，拿出录音带，请高层回去后，节制部属不当言行。
从胡高事例看来，胡降高升是有「因果」关系。胡对美军顾问坦诚，意图解决战地困境。而高对美军顾问防制，不欲卷入是非之争。
其中没有对错问题，只是处置方式不同，但蒋氏父子处置方法相当微妙，在战地隐忍不发，在台湾后方则反应迅速，从而影响胡高二人仕途发展。
之所以谈这段故事，在于胡琏回任金防部司令，战场形势已非当年胡可专断独行，政治因果的复杂，使胡无法专注军务经营战场。反成为战场执行官，令胡很难适应战场环境。
胡曾说一段故事：一九五三年七月十七日东山岛战役部队撤退时，胡琏请求空中支持，空军派八架战轰机轰炸东山岛共军炮兵阵地，接连两波密集轰炸，各部队顺利登舰撤退，没料到返航隔日金门接到周至柔问责电话。
七月二十二日上级单位派项目组来金调查空袭状况，要求尔后军事行动必须通报美方。此时金门不纳美援之列，美方只能告诫，不能干预金门军事行动，使金防部逃过劫难。
没想到金门纳入美援之后，不得「主动」攻击形同司令官紧箍咒，连打一枚美援炮弹装备，都需美方同意，仗要怎么打？考验司令官智慧。
胡琏第二次奉派出任司令官，在高层遥制、美军顾问团牵制、内外受制状况下，注定胡干不久。故而胡当时的干劲，不如第一次。
回想过去，胡在无中生有情势下，任事积极，无论走公、走私搞得虎虎生风，如指使臂指挥四次外岛作战。
胡在【金门忆旧】一书中特别指出，外岛四次作战打仗用款，都由金门物资供应社盈余下支出。突击南日、湄州以及东山岛作战的部分登陆船艇雇用费等都是「金门自理」，胡未忧怀丧志，将岛屿作战特性「胜则歼敌、败则被歼」发挥得淋漓尽致。
然而二度来金，胡的气势，远不如第一次来得强悍。究竟是什么原因，促成胡不如归去？为何「八二三炮击」不到四天，胡向蒋「请辞易帅」？这是研究八二三炮战历史，永缺的一页史实。
孰实为之？孰令致之？使蒋胡师生关系「一炮生变」？在文书档案中看不出蒋胡关系生变的迹象。
幸好在胡保留二十四封函札内，清楚载明「生变」原因，从人事、战备、补给、敌情、方略，胡的战备方针与蒋介石有违，导致炮战发生不到四天，即向蒋「请辞易帅」，原因出在「后方指挥前线」，不肯「放权让利」所致。
蒋介石不放手胡琏强要
蒋介石不肯放权让利，怨怼发生在平时，彼此尚可相安无事，若遇战时，则心结丛生，「公怨私仇」反而成为情谊恶化导火线，冲突很难避免。
胡琏回忆，二度回任蒋似乎对他很不放心，经常借故叮咛，大小事都不放过。如使用水泥建材修筑公路之事，蒋多次过问此事，希望少构工，多修地下工事与战防掩体。
过去在刘玉章担任金防部司令，即已进行指挥所工事地下室，将设于金宁乡庵前作战中心迁至太武山，整天开山挖洞，修筑坑道。由于金门是花岗岩地形，日夜赶工，每天仅能前进一公尺，兼以空压机为美援装备，非经台北同意，不得随时支用。
何况，刘几经申请，除蒋介石同意增援一台空压机，金门没有多余空压机，只靠徒手挖掘，既危险又耗人力，胡认为工程机具不完备状况下，能做多少算多少。何况，胡多次申请空压机，国防部都没有回音，导致进度缓慢，胡也不以为意。
其次有关水泥建材问题，胡拿去办校兴学，铺设道路，胡承认确有此事，但需做澄清。
一九五三年以前，台湾受限于财政支出，哪有水泥可支持金门建设，待美援物资来台，全数掌握在高层手中，当时两任参谋总长周至柔、桂永清认为，大陆上到处做钢筋水泥工事，等到实际作战时，都没用上。所以周桂二位总长反对钢筋水泥运至金门，优先处理台湾防务。
兼以美军顾问团长蔡斯也认为，厦门有日军永久性工事耗费许多建材，都派不上用场，故而金门构筑永久性工事，绝对是浪费。所以在参谋本部与美军顾问团齐声反对下，金门纵有动支钢筋水泥，乃是小批量，绝非将钢筋水泥用于办学兴教与铺设道路。如金门中央公路铺设，是历经胡刘两任司令官完成，说明胡「不务正业」系讹传。
事实真相是，刘玉章于司令官任内，亲身向蒋介石呈报地下工事重要性，要求拨付钢筋水泥作为战备工事基本建材，蒋同意，数月后「九三炮战」爆发，所筑工事的确发挥战防效用。从此大量钢筋水泥建材运用金门，如美军顾问团长蔡斯于韩战结束，将美军剩余一万多包水泥海运至金，供刘玉章使用盖营房与民房，就是明确例证。
待胡二度回任，钢筋水泥供应不成问题，胡鉴于部队过去因应作战需求，拆房舍、取门板、拿墓碑、挖田埂、抽梁木、取材火，干尽「缺德」事，为弥补金门民众「支前安后」，胡怀亏欠之情，大肆进行民生建设，也在情理之内。
唯应检讨的是，驻军每日大兴土木，忽略战备工事构筑，导致炮战发生时，因指挥所、火炮、人员居住等掩体设施不足，而形成重大伤亡，胡难辞其咎。
关于掩体不足形成伤亡，胡未推卸责任，认了这则事实。只不过胡强调的是分两阶段，第一阶段是国防部仅提供少许的钢筋水泥，胡未拿去还人情；第二阶段胡将物资还人情，「亏欠」是胡考虑重点，「无话可说」，是胡应予承担的责任。
其实胡拿钢筋水泥还人情，军长刘云瀚等人很有意见，与胡争执多次，刘认为军以战为主，主要任务是强化战训、构筑工事，将部队用于民生建设，似舍本逐末、浪费兵力。
胡不以为然，为此事胡召集营级以上干部讲话称：「上帝已在金门四周挖了一道又深又宽的外壕，你们都不能信赖它？如果它都不能挡住共军，难道你这条小小的外壕就能挡住吗？」，此因胡认为，金门幅员太小纵深有限，一旦被敌登陆成功，据点仅能作反击支撑，并非固守阵地，深高沟垒反而拘束兵力运用。胡还说，厦门、上海、舟山，政府耗资数倍于金，才是浪费资源与兵力。
胡琏将水泥建材用于民生设施，曾多次被检讨，胡依旧是我行我素，连蒋介石要求应致力于战场经营，胡不改其志，双方为此事发生多次冲突，导致战事爆发后，军士伤亡惨重，胡下定决心呈辞，以示负责。
胡琏强杠蒋介石，就胡琏说法为：
（一）金门能否守住，关键不在于军队员额多寡，而是民心向背。胡曾建议金门六个师，猬集小岛，运补困难，是否抽调一至二个师回台，遭蒋介石指斥。或许胡的提议与美方金马撤军建议不谋而合，使蒋认为胡与美军顾问团一鼻孔出气，对胡颇为不谅。为彰显统帅权威，蒋介石非但不撤兵，另通知胡琏，在台湾的三十四师已集结待命，准备增援金门。令胡必须为增援部队驻地伤神烦恼，被迫接受军令。
（二）在金门防卫司令部、军部、师部虽有炮兵单位编制，但各类型火炮中，一○五榴弹炮仅能打到海岸边缘，一五五榴弹炮虽可打到厦门，均非远程武器。胡曾请求增援长程火炮，受制于美方，迟迟未交运，待炮战发生时问题才获解决。
蒋介石对此曾问责胡琏，令胡相当无奈。事实上，凭借胡与美方交谊，处理此事并不困难，唯胡没积极争取，以致在反炮战过程中，胡应对作为举止乖张，连时任国防部长俞大维对胡处理模式都有怨言，更遑论蒋介石。
的确胡在反炮战期间没有强势作为，不容卸责。如炮战损耗二十九门火炮，说明炮兵部署与掩体设计都有问题，这是胡应当承担的责任。
（三）蒋介石与胡琏对军情误判，也是彼此争执的原因之一。
由于一九五六年共军曾增兵闽福目标马祖，一度使台海局势紧张，后因危机引信拆除，马祖戒备解除。
然而在一九五八年四月至七月间，共军在福建地区进行实兵演习，时间长达三个月，七月十三日演习结束，部队没有返回驻地，就地待命，使国府当局意识到大战将临，当时除俞大维外，军事首长一致判断共军目标将针对马祖而来，于是蒋介石指示陆战师增援马祖，经俞大维阻止陆战队返回驻地。此时俞大维分析，共军目标是金门。
再经俞大维亲自搭机侦察当面共军部署态势，判定共军攻击目标为金门后，力陈强化金门防务。蒋介石转而支持俞的意见，而胡则认为共军没有登陆迹象，于是在判断敌情失误状况下，并未强化战训。
我曾问过俞大维对八二三炮战胡琏指挥的看法，俞很清楚的指出，胡于战前仍不相信共军敢攻击金门，所以未强化部队战训。
其次金门工事构筑不实，人员、弹药掩体过于靠近火炮易生灾害。
再者金门与海军运补之间从未进行协调，导致运补权责不明，影响物资输送。
更严重的是，金门通讯部队能量不足，炮击时与台湾之间通联几乎为之中断，致后方不知前线状况，而前线无法将军情与战损上报，后果之严重，难以想象。
对俞大维的看法，其实在【蒋介石日记】、【陈诚日记】均有记载，但没有如俞大维说的那么直接。暗示胡于第二任金防部司令官任内，早就锐气全消，兼以政潮汹涌，胡的去职已是时间早晚问题，「应对无方」是胡下台主因。
当然胡也有委屈，如炮战前夕，参谋总长王叔铭抵金视察军务，离去前，王叔铭突向胡琏转达蒋介石指示「密令胡司令官，指定一位司令官代理人，该人选除司令官、其本人以及我个人与层峰知道外，不得对任何人透露，以备不测时代理」。这则密令等同否决法定职务代理人赵家骧晋升机会，蒋介石用意为何？令胡琏、刘鼎汉等人百思不解。
当年金防部有七位副司令官，依序是赵家骧、柯远芬、吉星文、高举（海军）、章杰（空军）、张国英（少将军长）、张星源（少将防炮司令），扣除高举、章杰、张星源非陆军系统不可能担任代理职务外，其余代理顺序是赵家骧、吉星文、柯远芬（兼政治部主任）、张国英。
依法定代理胡琏如有不测，代理人是主管作战业务的赵家骧。而柯远芬虽名列第二位，但柯兼任政治部主任，受制于体制，代理并不适宜。至于吉星文仅是督导后勤业务，代理也不适合。
扣除这两位副司令官，仅余张国英，然张是少将军长，代理司令官职务，以资浅指挥资深，于体制不合。
是以蒋介石密令，就是意促胡推荐张作为司令官的首席代理人选。
