新中國成立初期，總參成為三總部中最重要的部門。
當時的「三總部」，指的是總參、總政和總後。由於國防部1954年才成立，所以在此之前，總參就是我軍最高軍令機構。
新中國第一任總長的候選人有很多，比如一野掌門人彭德懷，二野掌門人劉伯承，中南軍區葉劍英，華北軍區聶榮臻，以及軍中地位僅次於主席的周公，但主席最終一錘定音，敲定正在青島養病的徐向前擔此重任。
上述五位候選人，都是我軍的傑出將領，主席為何看中了徐向前？
總參謀部作為一支軍隊參謀系統的最高機構，最早出現於普魯士。
1808年，普魯士設立了戰爭部，下設總參謀部，其前身是經受了七年戰爭考驗的軍需總監部，總參主要有四大職能：一是制定戰略戰術，是幕僚機構；二是管理軍隊，是指揮機構；三是後勤補給，是後勤機構；四是管炮兵事務，是特種機構。
由於總參在普法戰爭、普奧戰爭和普丹戰爭的出色表現，很快在歐洲得到普及，並擴散到世界各國，像明治維新的日本、南北戰爭的美國、十月革命的蘇俄等地。
總參謀部在兩次世界大戰中得到完善和提升，戰後美軍形成了參謀長聯席會議，蘇軍則增設了國防部。第一次國共合作時期，參謀系統逐漸為國人所熟知，並在黃埔軍校和北伐戰爭時期得到了實踐套用。
1927年8月1日，作為我軍起點的南昌起義，周公組建了由暫編15軍軍長劉伯承為團長的「軍事參謀團」，周公、賀龍、葉挺、蔡廷鍇等名將任參謀團的成員。
1930年，劉伯承在上海就任總參謀部部長，在團以上設定參謀處，作為軍事主官的幕僚機構。進入蘇區以後，劉伯承和葉劍英輪番擔任了總參謀長，進一步健全了參謀機構。
紅軍時期，劉伯承、聶榮臻、朱雲卿和葉劍英先後任總參謀長；抗戰時期，葉劍英、蕭勁光、滕代遠先後任八路軍總部參謀長；解放時期，總長則換成了彭德懷、周公。
新中國成立時，總長五大候選人的職務和位置各不相同。
隨著陶峙嶽通電起義，新疆和平解放，一野司令員兼政委彭德懷在開國大典之前，已經勝利完成了解放大西北的任務。1945年8月到1947年8月，彭德懷也有過任總長的經歷。
解放戰爭中後期，彭德懷西野作戰任務繁重，總長一職由周公兼任。
建國初期，周公多次提議「橫刀立馬」的彭大將軍出任總長一職，但都被彭總婉拒。
彭德懷之所以不願意擔任總長這樣一個非常重要的「幕僚長」，原因主要有三：
一是他長期擔任軍事主官，覺得不適合任總長；二是任總長一職2年時間，也是趕鴨子上架，不得已為之；三是彭總一個很大的心願，還是留在大西北搞生產和農業建設。
和一野彭總相比，二野司令員劉伯承更適合任總長。
首先，劉伯承是科班出身，畢業於重慶將校學堂、伏龍芝軍事學院，早年以「川中名將」聞名遐邇，還是南昌起義和紅軍的參謀長，抗戰時期執掌八路軍129師、解放戰爭時期領導晉冀魯豫野戰軍（中野，二野），以足智多謀聞名於世。
建國初期，大西南武有賀老總、文有鄧公，劉伯承完全可以抽身出來。但是，當周公征求劉伯承意見時，劉帥以「年事已高、精力不濟」為由婉拒，後籌建南京軍事學院。
中南軍區的軍事二把手「葉參座」，也是不錯的選擇。
葉劍英擔任各級參謀長的時間，遠超十大元帥的其余九位，比劉伯承資歷還深。
葉劍英出身民國三大軍校之一的雲南講武堂，是朱老總的同門師弟，擔任過黃埔軍校教授部副主任、討伐陳炯明的8旅參謀長，粵軍2師參謀長、國民革命軍4軍參謀長。
土地革命時期，葉劍英是紅軍總長、紅一方面軍參謀長、陜甘支隊參謀長；抗戰時期，任八路軍總部參謀長；抗戰勝利後，忙於軍事調停和土地工作，組建了華北軍政大學。
新中國成立時，葉劍英正指揮陳賡、鄧華解放廣州，由於廣東還是前沿地區，海南島和諸多沿海島嶼還沒有解放，華南的剿匪鬥爭一直持續到1953年，所以葉參座分身乏術。
解放戰爭後期兼任總長的周公，出任總理兼外長。
周公在我軍的歷史地位僅次於主席，甚至超過德高望重的朱老總。無論是紅軍時期、抗戰時期還是解放戰爭時期，作為主席的第一助手，周公的地位無可撼動。
但是，新中國成立初期百廢待興，尤其是外交戰線任務復雜繁重，周公甚至從軍隊抽調了10幾位將領轉行當大使。此外，政務院的工作千頭萬緒，再兼任總長已不現實。
華北軍區司令員聶榮臻，也是總長最佳候選人之一。
聶榮臻是一位低調的開國元帥，早年參加過赴法勤工儉學，具備國際視野；在蘇聯紅軍學校中國班學過軍事，也算半個科班出身；擔任過黃埔軍校政治秘書兼教官，在我軍資歷比較老；參加過南昌起義和廣州起義，是建軍元老之一。
抗戰時期，聶榮臻以115師副師長身份，帶領3000人開創了模範的晉察冀根據地。解放戰爭時期主持華北軍區，徐向前從晉冀魯豫轉隸華北軍區後，擔任他的副手。
聶榮臻出任總長的唯一障礙，就是身兼多職。建國初期，聶榮臻堪稱十大元帥中最忙的，一度身兼七職：華北軍區司令員，平津衛戍區司令員，華北局第三書記，副總長，北平市市長，北平軍制會主任，以及開國大典的閱兵總指揮。
聶榮臻兼任副總長，總長是在青島養病的徐向前。解放戰爭時期的華北軍區司令員和副司令員，職務剛好掉了個：正職變副職，副職變正職，主席這是唱的哪一出呢？
從歷史地位和軍事才能來看，徐向前並不亞於聶榮臻。
土地革命時期，空降鄂豫皖的徐向前，打出了紅軍時期最強悍的第四方面軍。抗戰時期，帶領八路軍129師部隊在冀南根據地提出了「人山」理論，還曾擔任第一縱隊司令員。
徐帥的軍事才華毋庸置疑，劉伯承贊嘆我軍最會打仗的就是徐總指揮和粟司令。
但是，徐向前的身體影響了他在解放戰爭中的發揮，他先後在晉冀魯豫、華北軍區和太原前線，擔任劉伯承、聶榮臻和彭總的副手。但是，主席對這位軍事家的能力信賴有加，所以第一時間點將徐向前出任新中國首任總長。
事實上，徐帥身體1951年底才基本痊愈，但在養病期間，主席寧可讓聶帥代理總參的工作，也一直保留著徐帥總長的職務，這也是主席對徐帥極大的尊重和愛惜。
1951年11月，身體剛剛痊愈的徐向前，從莫斯科談判回國途中，肋膜炎復發再次住院，並在此後長期療養。第一副總長聶榮臻協助主席指揮抗美援朝，最後累得生病，主席點將粟裕任第二副總長，分擔一些總參的工作。
有人說，徐帥身體已無大礙，只是出於對頂頭上司聶帥的尊重，一直沒有出山就職。實際上，這兩位老帥無論戰爭年代還是建國以後，毫不計較身份職級，一心為公，配合得非常默契。
1955年大授銜，兩位名將排名元帥第八和第九，也是「哥倆好」。
