總參謀部是新中國成立後主管三軍工作的主要單位，其總長、代總長的職位由老帥、大將、上將先後擔任。
在1954年到1971年的17年間，粟裕、黃克誠、羅瑞卿、楊成武、黃永勝等人先後擔任或代理總長，但他們都沒有正常離任。
粟裕是1954年被任命為總長的，他接替了徐向前的職務和聶榮臻的工作。徐向前是新中國的第一任總長，但因身體不適，由副總長聶榮臻代理工作，直到1954年。
粟裕在1952年就被調到總參，擔任第二副總長，協助聶榮臻工作。
粟裕是一位打仗很厲害的將領，他在解放戰爭中指揮了許多精彩的戰役，如宿北、萊蕪、孟良崮、豫東、淮海等，消滅了敵人大批有生力量，如果單從軍事角度看，他完全有資格成為元帥。
粟裕當上總長後，總參又增加了9位副總長，加上原有的幾位，總共有11位副總長，但他們大部份都是兼任其他職務，精力不在總參。副總長有黃克誠、張宗遜、陳賡、李克農、鄧華、韓先楚、張愛萍、王震、許世友、彭紹輝、楊成武。只有黃克誠、陳賡、李克農、張愛萍是真正在總參工作的，其他都是兼職。
其實黃克誠也是兼職，他還是軍委秘書長兼總後勤部長、政委，因為軍委和總參是在一起辦公的，所以他也在總參工作。
粟裕在任總長期間，張愛萍對他很贊賞，說他很大方，大家很團結，沒有鬥爭，工作上是講道理，不針對人，即使有分歧，也是為了工作，私下裏還是很親密的。
1958年，粟裕因為被指責為反教條主義，受到打擊，被戴上帽子，離開了總參。
黃克誠是一位很有能力的大將，他在戰爭年代擅長建立根據地，發動群眾工作，雖然打仗沒有很大的名聲，但其他方面都很強。他對新四軍、東北野戰軍的貢獻很大，不然也不會是排名第三的大將。
新中國成立後，他被任命了很多職務，在他擔任軍委秘書長的時候，因為彭德懷親自主持工作，所以秘書長的職務沒有總長那麽重要。但是他在接替粟裕成為總長後，就擁有了很大的權力。
他只當了一年總長，就因為廬山會議的影響，而離開了部隊。
廬山會議之後，林彪推薦羅瑞卿擔任總長兼軍委秘書長。羅瑞卿是從政工幹部轉型的，很有能力。解放後成為主席的大警衛。
他擔任總長後，為了方便他工作，又給他加了很多職務，如副總理、書記處書記、國防部副部長等13個重要職務，成為歷任總長中兼職最多的一個。無論是他的前任還是後任，都沒有能超過他這麽多兼職的。
1965年，他在上海會議上被撤職，被扣上帽子。後來的大運動中，他受到的打擊更大。
羅瑞卿被撤職後，葉劍英接替了軍委秘書長的職務，楊成武沒有被任命為總長，而是代理總長。可能是因為之前都是元帥、大將擔任，現在上將資歷不夠深，怕有人不服，所以先代理，結果代理了兩年多。
1968年3月，他被指責為山頭主義，被取消了職務。
在楊成武被取消職務的前一天，林彪秘密把黃永勝叫到北京，當楊成武晚上被取消職務後，就宣布黃永勝為總長。
之後，黃永勝還擔任了軍委辦事組組長，負責軍委的日常工作。
但是，九一三事件後，他也被隔離審查，而且被判了十幾年，1981年被保外就醫，不久就去世了。
從此以後，葉劍英和鄧小平都擔任過總長。1977年鄧小平第二次擔任總長後，這個職務才算穩定下來，離任都是正常的。
