总参谋部是新中国成立后主管三军工作的主要单位，其总长、代总长的职位由老帅、大将、上将先后担任。
在1954年到1971年的17年间，粟裕、黄克诚、罗瑞卿、杨成武、黄永胜等人先后担任或代理总长，但他们都没有正常离任。
粟裕是1954年被任命为总长的，他接替了徐向前的职务和聂荣臻的工作。徐向前是新中国的第一任总长，但因身体不适，由副总长聂荣臻代理工作，直到1954年。
粟裕在1952年就被调到总参，担任第二副总长，协助聂荣臻工作。
粟裕是一位打仗很厉害的将领，他在解放战争中指挥了许多精彩的战役，如宿北、莱芜、孟良崮、豫东、淮海等，消灭了敌人大批有生力量，如果单从军事角度看，他完全有资格成为元帅。
粟裕当上总长后，总参又增加了9位副总长，加上原有的几位，总共有11位副总长，但他们大部分都是兼任其他职务，精力不在总参。副总长有黄克诚、张宗逊、陈赓、李克农、邓华、韩先楚、张爱萍、王震、许世友、彭绍辉、杨成武。只有黄克诚、陈赓、李克农、张爱萍是真正在总参工作的，其他都是兼职。
其实黄克诚也是兼职，他还是军委秘书长兼总后勤部长、政委，因为军委和总参是在一起办公的，所以他也在总参工作。
粟裕在任总长期间，张爱萍对他很赞赏，说他很大方，大家很团结，没有斗争，工作上是讲道理，不针对人，即使有分歧，也是为了工作，私下里还是很亲密的。
1958年，粟裕因为被指责为反教条主义，受到打击，被戴上帽子，离开了总参。
黄克诚是一位很有能力的大将，他在战争年代擅长建立根据地，发动群众工作，虽然打仗没有很大的名声，但其他方面都很强。他对新四军、东北野战军的贡献很大，不然也不会是排名第三的大将。
新中国成立后，他被任命了很多职务，在他担任军委秘书长的时候，因为彭德怀亲自主持工作，所以秘书长的职务没有总长那么重要。但是他在接替粟裕成为总长后，就拥有了很大的权力。
他只当了一年总长，就因为庐山会议的影响，而离开了部队。
庐山会议之后，林彪推荐罗瑞卿担任总长兼军委秘书长。罗瑞卿是从政工干部转型的，很有能力。解放后成为主席的大警卫。
他担任总长后，为了方便他工作，又给他加了很多职务，如副总理、书记处书记、国防部副部长等13个重要职务，成为历任总长中兼职最多的一个。无论是他的前任还是后任，都没有能超过他这么多兼职的。
1965年，他在上海会议上被撤职，被扣上帽子。后来的大运动中，他受到的打击更大。
罗瑞卿被撤职后，叶剑英接替了军委秘书长的职务，杨成武没有被任命为总长，而是代理总长。可能是因为之前都是元帅、大将担任，现在上将资历不够深，怕有人不服，所以先代理，结果代理了两年多。
1968年3月，他被指责为山头主义，被取消了职务。
在杨成武被取消职务的前一天，林彪秘密把黄永胜叫到北京，当杨成武晚上被取消职务后，就宣布黄永胜为总长。
之后，黄永胜还担任了军委办事组组长，负责军委的日常工作。
但是，九一三事件后，他也被隔离审查，而且被判了十几年，1981年被保外就医，不久就去世了。
从此以后，叶剑英和邓小平都担任过总长。1977年邓小平第二次担任总长后，这个职务才算稳定下来，离任都是正常的。
