一九五四年六月一日胡璉奉派出任新組建第一軍團司令，下轄四個軍、十二個師，司令部設於台大思源校區正對面自來水園區，後遷至中壢龍岡。
胡一任司令三年，在這三年中，胡除蓋幾所眷宅外，政績乏善可陳。在胡璉相關著作中，對身膺重任防衛首都的軍團司令敘述，僅有短短幾行字，暗示胡對此職位未放心上。兼以虧空案，東山島作戰檢討報告，反共救國軍整編事務，蔣介石下令禁止港金貿易業務等事件紛擾，令胡頗為煩悶。
胡晚年回憶，原本第一軍團司令乃是劉安祺接任，周至柔通知胡給予三個職位，由胡自行挑選，一是參謀次長，一是陸軍副總司令，一是黃傑接陸軍總司令，遺缺台北衛戍司令由胡調任，胡均婉拒。
詎料命令釋出接任第一軍團司令就近看管，反而將劉安祺擠走調任澎防部司令，僅轄一個師、一個要塞區，令胡對劉頗感歉意，認為胡來劉去，是胡占劉的職位，心中過意不去。
回過頭說，劉玉章出任金防部司令，也是意外。劉原本內定擔任第八軍軍長，命令釋出直升金防部司令，軍長職務由副軍長郭永直升，後隨劉玉章赴金駐守。
蔣介石將胡統轄部隊全數調回台灣，改派劉玉章人馬至金，在當時屬不尋常調動，目的是「削藩」，看在胡璉眼裏，蔣介石做得如此決絕，難免有「抗爭」情緒，不料卻被蔣介石指斥為「吳國楨叛變」，暗示蔣胡師生關系，已從「暗鬥」升至「明爭」階段，令胡璉唏噓不已。
蔣對胡璉如此，連蔣經國愛將高魁元，也卷入蔣胡之爭。高魁元是古寧頭戰役反擊軍總指揮，於一九五○年十二月率十八軍駐守澎湖，脫離胡璉指揮序列後，再也沒有回歸胡的掌握。
一九五五年高魁元升任陸軍總部政治部主任，一九五七年春國府當局成立反共義士總隊，蔣經國意促高魁元接總隊長，高幾經考慮接任該職。由於總隊長職務屬少將編階，高時任中將主任，雖是兼任，以高階低占，高願意接任低階委任完全破壞軍中倫理，應極力避免，然高非但不抗議，甚至表達「欣然接受」意願，目的是向蔣介石宣誓效忠立場。透過忠貞測試，蔣經國旋即解除高兼任職務，直升副總司令，成為蔣介石最受器重的將領。
前參謀總長賴名湯於日記中批評高的才具至多是「高班長」，但高的官階隨委屈低就，步步高升則是不爭的事實。從胡高親身經歷事例顯示，蔣胡關系暗潮頻生，雖沒有刀光劍影，但蔣對土木系或出身十八軍將領處處猜防，則是胡擺脫不掉的夢魘。
難怪胡璉常對上門請托將領說：「我保舉的，總統一個都不用；我處分的幾位將領，他都重用。用人是藝術也是門學問，你們請我保舉，不是害了你們。」
當然蔣胡之爭暗潮頻生，還有一項關鍵因素，就是陳誠政治地位的升降。胡璉是陳誠一手提拔的將領，國府來台三個完整軍的十二兵團，不但聽從胡璉指揮，也是陳誠政治資本，於此蔣介石多次暗示胡效忠於蔣，胡以「一事二主兩俱無傷」，態度表明支持陳誠，效忠蔣介石，蔣默然不語。
爾後出身十二兵團或土木系將領，於軍中備受壓抑，即與胡對陳誠支持有關。待胡遠走越南，陳誠病故，蔣經國掌握實權，土木系或十二兵團出身的將領始獲升遷，陳誠的政治資本經蔣經國成為穩定軍系的一股力量，這是蔣介石忌諱所在，也是蔣經國手腕高明的顯現。
蔣經國自薦出任金防部司令
蔣經國與陳誠雖有權力之爭，但蔣經國在政壇輩分上畢竟與陳誠差了一截，彼此還能維持均衡態勢。而胡璉與蔣經國年歲相仿，胡長蔣三歲，反而成為權力競逐物件。
一九五五年八月二十三日蔣經國處理孫立人案和情報系統整編問題，飽受內外抨擊，兼以孔宋家族成員結合情治老將有意將蔣經國逐出情治門墻之外，使蔣經國已有不如歸去之感。
為遠離台北政壇的是非，蔣曾向其父蔣介石毛遂自薦，懇請辭去本兼職出任金防部司令兼福建省主席，以示沈潛之意。此議遭蔣介石拒絕，但訊息傳出，陳誠、胡璉等人很不以為然，認為蔣經國出任金防部司令有違軍系倫理，何況蔣經國連師長、軍長資歷都沒有，若擔任前線指揮官，其他有資歷的將領情何以堪？
連帶影響軍系將領對蔣氏父子領導統禦的觀感。這也是陳誠、胡璉對蔣經國印象不佳的關鍵所在。
鋪陳胡璉、陳誠、蔣介石、蔣經國四角關系的變化，有助於理解高層決策體制運作與胡璉政治處境的難為。非身歷其境者，很難知悉軍政關系互動的微妙。
如胡任第一軍團司令期間，與美軍顧問團、太平洋總司令部、CIA駐台單位之間，關系相處非常融洽，彼此對談常被援引為軍援指標，蔣經國書信集提及胡被美方稱譽，如「與美太平洋總司令談話時引證，……兄在來書中所提供有關供應問題，恉已由家父（蔣介石）分交各單位從速辦理矣！……」
類似話語明為稱譽，實則告誡，胡不解政治奧妙，於此可見。事業上胡璉常年與美方高層來往已犯政治忌諱，多次登艦與美方密談，事後雖有書信提及，但規避監控，其心可議。
不說胡璉，談羅友倫。羅是蔣經國指派的總政戰部主任，於生日誕辰接受部屬在國賓飯店慶生，旋即接到蔣經國電話，表達祝賀之意，不久送來壽面。此舉明為祝賀，實則告誡，令羅友倫冷汗淋漓。胡的登艦密談與羅的壽誕慶生，故事本質雖有不同，但監控做法卻如出一轍，暗示猜忌之心既起，胡璉更加難為。
一九五七年六月胡任軍團司令長達三年，是月蔣介石多次召見，意促胡回任金防部司令，胡改推薦由劉安祺或高魁元接任司令。蔣執意要求回任，胡仍婉拒，雙方僵持，蔣提出胡晉任二級上將回任金防部司令，胡勉為其難接受，這是金防部成立以來，唯一的特例。
蔣介石之所以要求胡璉回任，原因為：
（一）反共救國軍因編遣問題軍紀與逃亡現象日益嚴重，盼胡運用影響力為國防部解決難題。
（二）劉玉章與福建省主席戴仲玉因權責問題常起沖突，造成金門人心浮動，望胡回任處理這則棘手問題。
（三）對手於韓戰結束後重兵集結於閩廈，派胡回任坐鎮有助於軍心士氣的提升。
（四）蔣介石有意反攻大陸，胡璉熟悉反攻區閩粵贛地理形勢，兼對金門戰場了如指掌，不必適應戰場環境，即能領兵作戰。
（五）國軍將領中唯一對兩棲、三棲作戰有實戰經驗的就是胡璉，出於「保本」與「破敵」考慮，胡是現階段最為適合人選。
（六）美軍顧問團對胡璉治軍頗為稱許，兼以九三炮戰後，美國軍援物資源源不斷挹註金門，以胡璉過去與CIA、美軍高層交誼密切，胡回任的確是合適安排。
胡璉奉派二度回任金防部司令，行前與蔣介石又因人事問題發生爭執。
胡晚年回憶說，金防部司令兼反攻軍總司令，為謀戰場需要，希望出任師長、團長者必定有戰場經驗，使能上陣破敵。故而胡建議司令官是否有權責任免師、團長。
蔣介石堅不同意，蔣認為任免文武百官是統帥權威，不宜由司令官徑行任免，但為顧全戰場要求，蔣勉強同意司令官有任免團長權力，師長以上將領，還是應該接受統帥排程。
對此胡有不同意見，以劉玉章而言，金門一個軍、五個師，其中一個軍、三個師都是劉玉章五十二軍老部隊，從東北到上海，轉舟山至台灣赴金門，均是久經戰陣的雄獅，另二個師，一是羅友倫嫡系部隊從東北轉戰台灣，一是胡璉部隊曾參與東山島戰役。這五支駐軍部隊，都是戰場經驗相當豐富的善戰之師。
而胡再度回任，駐守金門六個師，僅有二名師長有戰場經歷，其余四名未經會戰以上戰陣洗禮，顯得有些指揮信心不足的窘況，故而胡建議是否將有戰陣資歷的師長級指揮官優先調至金門任職？兼以胡也順勢呈報三位師長人選供蔣介石裁示。
胡推薦人選依序是李向辰、蕭宏毅、雷開瑄，其中李向辰、蕭宏毅是登步島大捷的團長，而雷開瑄則是古寧頭大捷的二○一團團長。這三人共同特性是熟悉海島與島嶼作戰。詎料胡的推薦，遭蔣介石拒絕。二人為師長人事爭執不休，對胡上任顯然不是好兆頭。
一九五七年七月一日胡回任金防部司令，此時金門歷經一九五四年「九三炮戰」，美援物資已進入金門，胡璉無需搞「貿易經商」解決戰地困境。
胡回任需要解決的問題，依序為：（一）工事地下化；（二）完成環島道路鋪設；（三）加強部隊戰訓；（四）整建營房；（五）持續構築指揮所擴建工程；
（六）辦校興學整建校舍；（七）偵測敵情適時發起反制作戰；（八）改善軍民關系嚴整紀律；（九）秘密籌建反攻兵力建立沿海據點；（十）協助整編反共救國軍。
這些專案看起來都是照表操課，但有一項必須規避美軍顧問團幹涉，即是隱藏於洞穴內部的海龍舟操演。
該批海龍舟是蔣介石請托孔宋家族籌資，透過日本秘密建造快速舟艇運載部隊沖向廈門海灘，此即所謂「海龍蛙兵」的由來。
對於最高當局的保密措施，就胡璉來說，與其保密，不如坦誠以告，而免事後解釋。於是胡不顧禁令，委婉告知美軍顧問，這支部隊存在目的。詎料胡的舉措，引起蔣氏父子的不滿，認為胡與美軍顧問關系密切，失真「尊嚴」。嚴令胡要把握分寸，不得「坦誠」告知美軍顧問金門兵力部署全況。
胡璉事例，反射於愛將高魁元身上，卻是不同的做法。
高魁元擔任第二兵團司令期間，某次與美軍顧問乘車視察軍務，在車上該顧問說了不得體的話，隔沒幾天蔣經國會見顧問團高層，拿出錄音帶，請高層回去後，節制部屬不當言行。
從胡高事例看來，胡降高升是有「因果」關系。胡對美軍顧問坦誠，意圖解決戰地困境。而高對美軍顧問防制，不欲卷入是非之爭。
其中沒有對錯問題，只是處置方式不同，但蔣氏父子處置方法相當微妙，在戰地隱忍不發，在台灣後方則反應迅速，從而影響胡高二人仕途發展。
之所以談這段故事，在於胡璉回任金防部司令，戰場形勢已非當年胡可專斷獨行，政治因果的復雜，使胡無法專註軍務經營戰場。反成為戰場執行官，令胡很難適應戰場環境。
胡曾說一段故事：一九五三年七月十七日東山島戰役部隊撤退時，胡璉請求空中支持，空軍派八架戰轟機轟炸東山島共軍炮兵陣地，接連兩波密集轟炸，各部隊順利登艦撤退，沒料到返航隔日金門接到周至柔問責電話。
七月二十二日上級單位派專案組來金調查空襲狀況，要求爾後軍事行動必須通報美方。此時金門不納美援之列，美方只能告誡，不能幹預金門軍事行動，使金防部逃過劫難。
沒想到金門納入美援之後，不得「主動」攻擊形同司令官緊箍咒，連打一枚美援炮彈裝備，都需美方同意，仗要怎麽打？考驗司令官智慧。
胡璉第二次奉派出任司令官，在高層遙制、美軍顧問團牽制、內外受制狀況下，註定胡幹不久。故而胡當時的幹勁，不如第一次。
回想過去，胡在無中生有情勢下，任事積極，無論走公、走私搞得虎虎生風，如指使臂指揮四次外島作戰。
胡在【金門憶舊】一書中特別指出，外島四次作戰打仗用款，都由金門物資供應社盈余下支出。突擊南日、湄州以及東山島作戰的部份登陸船艇雇用費等都是「金門自理」，胡未憂懷喪誌，將島嶼作戰特性「勝則殲敵、敗則被殲」發揮得淋漓盡致。
然而二度來金，胡的氣勢，遠不如第一次來得強悍。究竟是什麽原因，促成胡不如歸去？為何「八二三炮擊」不到四天，胡向蔣「請辭易帥」？這是研究八二三炮戰歷史，永缺的一頁史實。
孰實為之？孰令致之？使蔣胡師生關系「一炮生變」？在文書檔案中看不出蔣胡關系生變的跡象。
幸好在胡保留二十四封函劄內，清楚載明「生變」原因，從人事、戰備、補給、敵情、方略，胡的戰備方針與蔣介石有違，導致炮戰發生不到四天，即向蔣「請辭易帥」，原因出在「後方指揮前線」，不肯「放權讓利」所致。
蔣介石不放手胡璉強要
蔣介石不肯放權讓利，怨懟發生在平時，彼此尚可相安無事，若遇戰時，則心結叢生，「公怨私仇」反而成為情誼惡化導火線，沖突很難避免。
胡璉回憶，二度回任蔣似乎對他很不放心，經常借故叮嚀，大小事都不放過。如使用水泥建材修築公路之事，蔣多次過問此事，希望少構工，多修地下工事與戰防掩體。
過去在劉玉章擔任金防部司令，即已進行指揮所工事地下室，將設於金寧鄉庵前作戰中心遷至太武山，整天開山挖洞，修築坑道。由於金門是花崗巖地形，日夜趕工，每天僅能前進一公尺，兼以空壓機為美援裝備，非經台北同意，不得隨時支用。
何況，劉幾經申請，除蔣介石同意增援一台空壓機，金門沒有多余空壓機，只靠徒手挖掘，既危險又耗人力，胡認為工程機具不完備狀況下，能做多少算多少。何況，胡多次申請空壓機，國防部都沒有回音，導致進度緩慢，胡也不以為意。
其次有關水泥建材問題，胡拿去辦校興學，鋪設道路，胡承認確有此事，但需做澄清。
一九五三年以前，台灣受限於財政支出，哪有水泥可支持金門建設，待美援物資來台，全數掌握在高層手中，當時兩任參謀總長周至柔、桂永清認為，大陸上到處做鋼筋水泥工事，等到實際作戰時，都沒用上。所以周桂二位總長反對鋼筋水泥運至金門，優先處理台灣防務。
兼以美軍顧問團長蔡斯也認為，廈門有日軍永久性工事耗費許多建材，都派不上用場，故而金門構築永久性工事，絕對是浪費。所以在參謀本部與美軍顧問團齊聲反對下，金門縱有動支鋼筋水泥，乃是小批次，絕非將鋼筋水泥用於辦學興教與鋪設道路。如金門中央公路鋪設，是歷經胡劉兩任司令官完成，說明胡「不務正業」系訛傳。
事實真相是，劉玉章於司令官任內，親身向蔣介石呈報地下工事重要性，要求撥付鋼筋水泥作為戰備工事基本建材，蔣同意，數月後「九三炮戰」爆發，所築工事的確發揮戰防效用。從此大量鋼筋水泥建材運用金門，如美軍顧問團長蔡斯於韓戰結束，將美軍剩余一萬多包水泥海運至金，供劉玉章使用蓋營房與民房，就是明確例證。
待胡二度回任，鋼筋水泥供應不成問題，胡鑒於部隊過去因應作戰需求，拆房舍、取門板、拿墓碑、挖田埂、抽梁木、取材火，幹盡「缺德」事，為彌補金門民眾「支前安後」，胡懷虧欠之情，大肆進行民生建設，也在情理之內。
唯應檢討的是，駐軍每日大興土木，忽略戰備工事構築，導致炮戰發生時，因指揮所、火炮、人員居住等掩體設施不足，而形成重大傷亡，胡難辭其咎。
關於掩體不足形成傷亡，胡未推卸責任，認了這則事實。只不過胡強調的是分兩階段，第一階段是國防部僅提供少許的鋼筋水泥，胡未拿去還人情；第二階段胡將物資還人情，「虧欠」是胡考慮重點，「無話可說」，是胡應予承擔的責任。
其實胡拿鋼筋水泥還人情，軍長劉雲瀚等人很有意見，與胡爭執多次，劉認為軍以戰為主，主要任務是強化戰訓、構築工事，將部隊用於民生建設，似舍本逐末、浪費兵力。
胡不以為然，為此事胡召集營級以上幹部講話稱：「上帝已在金門四周挖了一道又深又寬的外壕，你們都不能信賴它？如果它都不能擋住共軍，難道你這條小小的外壕就能擋住嗎？」，此因胡認為，金門幅員太小縱深有限，一旦被敵登陸成功，據點僅能作反擊支撐，並非固守陣地，深高溝壘反而拘束兵力運用。胡還說，廈門、上海、舟山，政府耗資數倍於金，才是浪費資源與兵力。
胡璉將水泥建材用於民生設施，曾多次被檢討，胡依舊是我行我素，連蔣介石要求應致力於戰場經營，胡不改其誌，雙方為此事發生多次沖突，導致戰事爆發後，軍士傷亡慘重，胡下定決心呈辭，以示負責。
胡璉強杠蔣介石，就胡璉說法為：
（一）金門能否守住，關鍵不在於軍隊員額多寡，而是民心向背。胡曾建議金門六個師，猬集小島，運補困難，是否抽調一至二個師回台，遭蔣介石指斥。或許胡的提議與美方金馬撤軍建議不謀而合，使蔣認為胡與美軍顧問團一鼻孔出氣，對胡頗為不諒。為彰顯統帥權威，蔣介石非但不撤兵，另通知胡璉，在台灣的三十四師已集結待命，準備增援金門。令胡必須為增援部隊駐地傷神煩惱，被迫接受軍令。
（二）在金門防衛司令部、軍部、師部雖有炮兵單位編制，但各類別火炮中，一○五榴彈炮僅能打到海岸邊緣，一五五榴彈炮雖可打到廈門，均非遠端武器。胡曾請求增援長程火炮，受制於美方，遲遲未交運，待炮戰發生時問題才獲解決。
蔣介石對此曾問責胡璉，令胡相當無奈。事實上，憑借胡與美方交誼，處理此事並不困難，唯胡沒積極爭取，以致在反炮戰過程中，胡應對作為舉止乖張，連時任國防部長俞大維對胡處理模式都有怨言，更遑論蔣介石。
的確胡在反炮戰期間沒有強勢作為，不容卸責。如炮戰損耗二十九門火炮，說明炮兵部署與掩體設計都有問題，這是胡應當承擔的責任。
（三）蔣介石與胡璉對軍情誤判，也是彼此爭執的原因之一。
由於一九五六年共軍曾增兵閩福目標馬祖，一度使台海局勢緊張，後因危機引信拆除，馬祖戒備解除。
然而在一九五八年四月至七月間，共軍在福建地區進行實兵演習，時間長達三個月，七月十三日演習結束，部隊沒有返回駐地，就地待命，使國府當局意識到大戰將臨，當時除俞大維外，軍事首長一致判斷共軍目標將針對馬祖而來，於是蔣介石指示陸戰師增援馬祖，經俞大維阻止陸戰隊返回駐地。此時俞大維分析，共軍目標是金門。
再經俞大維親自搭機偵察當面共軍部署態勢，判定共軍攻擊目標為金門後，力陳強化金門防務。蔣介石轉而支持俞的意見，而胡則認為共軍沒有登陸跡象，於是在判斷敵情失誤狀況下，並未強化戰訓。
我曾問過俞大維對八二三炮戰胡璉指揮的看法，俞很清楚的指出，胡於戰前仍不相信共軍敢攻擊金門，所以未強化部隊戰訓。
其次金門工事構築不實，人員、彈藥掩體過於靠近火炮易生災害。
再者金門與海軍運補之間從未進行協調，導致運補權責不明，影響物資輸送。
更嚴重的是，金門通訊部隊能量不足，炮擊時與台灣之間通聯幾乎為之中斷，致後方不知前線狀況，而前線無法將軍情與戰損上報，後果之嚴重，難以想象。
對俞大維的看法，其實在【蔣介石日記】、【陳誠日記】均有記載，但沒有如俞大維說的那麽直接。暗示胡於第二任金防部司令官任內，早就銳氣全消，兼以政潮洶湧，胡的去職已是時間早晚問題，「應對無方」是胡下台主因。
當然胡也有委屈，如炮戰前夕，參謀總長王叔銘抵金視察軍務，離去前，王叔銘突向胡璉轉達蔣介石指示「密令胡司令官，指定一位司令官代理人，該人選除司令官、其本人以及我個人與層峰知道外，不得對任何人透露，以備不測時代理」。這則密令等同否決法定職務代理人趙家驤晉升機會，蔣介石用意為何？令胡璉、劉鼎漢等人百思不解。
當年金防部有七位副司令官，依序是趙家驤、柯遠芬、吉星文、高舉（海軍）、章傑（空軍）、張國英（少將軍長）、張星源（少將防炮司令），扣除高舉、章傑、張星源非陸軍系統不可能擔任代理職務外，其余代理順序是趙家驤、吉星文、柯遠芬（兼政治部主任）、張國英。
依法定代理胡璉如有不測，代理人是主管作戰業務的趙家驤。而柯遠芬雖名列第二位，但柯兼任政治部主任，受制於體制，代理並不適宜。至於吉星文僅是督導後勤業務，代理也不適合。
扣除這兩位副司令官，僅余張國英，然張是少將軍長，代理司令官職務，以資淺指揮資深，於體制不合。
是以蔣介石密令，就是意促胡推薦張作為司令官的首席代理人選。
