1948年11月初，淮海戰役打響。為了打好這場戰略大決戰，蔣介石投入了80萬重兵，比華野和中野加起來的兵力還多了20萬。但在劉峙的錯誤指揮下，國軍的兵力優勢沒能發揮出來，反而在開戰不久就陷入了被動局面。先是黃百韜兵團被華野包圍在了碾莊地區，接著黃維兵團又被中野包圍在了雙堆集。
當時中野剛剛從大別山轉出不久，參戰的總兵力只有12萬人，和黃維兵團基本持平，而且武器裝備還嚴重不如對手。盡管廖運周起義打亂了黃維的突圍計劃，但中野仍無力將包圍圈中的敵人吃掉，只能向華野求援。粟裕命令陳士榘率領三個縱隊的兵力趕到雙堆集，加入了戰場，這才將黃維兵團全殲。
陳士榘參戰的時候，陳毅和粟裕就叮囑過他，繳獲的戰利品連一塊紙片都不能帶走，要全部留給中野。黃維的第12兵團是一個重兵集團，下轄的四個軍當中有三個軍都是陳誠土木系的精銳，裝備全都是美械，剩余的一個軍是何應欽的部隊，裝備一半是美械，一半是日械。
雙堆集戰役結束後，中野繳獲的戰利品堆積如山，光火炮就有870多門，部隊的火力因此得到了極大的增強。除了這些戰利品之外，中野還在戰場上抓獲了將近5萬名俘虜，經過教育改造後，這些俘虜兵大多數都參加了解放軍。之後中野為了應對即將舉行的渡江戰役，又將一些地方部隊升格為主力，同時還吸收了一大批青壯年參軍入伍。
到1949年2月的時候，中野的野戰部隊已經達到了28萬人，並奉命改稱第二野戰軍，下轄第3、第4和第5三個兵團。當時二野戰將如雲，能打的人很多，但兵團司令只有三個人，該選誰來擔任一時間成了難題。劉伯承掰著指頭數了三個人，唯獨落下了這員悍將。
劉伯承最先確定的一個人選就是陳賡。陳賡的資歷非常老，戰功也很大。二野的前身可以追溯到八路軍129師，而129師又是由四方面軍的第4軍和第31軍為主改編而成的。紅軍時期陳賡擔任過四方面軍的參謀長，八路軍129師成立後，他又擔任了386旅的旅長；解放戰爭時期，他擔任過中野陳謝兵團的司令，是中野所有戰將中第一個擔任兵團司令的人。
不論資歷、職務還是戰功，二野三個兵團司令當中，陳賡必定要釘選一個席位，也是最無爭議的。剩下的兩個兵團司令人選，劉伯承考慮從王近山、楊勇和陳錫聯三人當中產生。這三個人當中，以王近山打仗最為勇猛，中野的許多大仗和惡仗都是由他擔任主攻，血戰大楊湖就是最經典的代表。
打仗勇猛，又是四方面軍出身，按理說王近山應該釘選一個兵團司令的席位。但他打仗過於勇猛，謀略方面稍微有點欠缺，因此劉伯承經過仔細權衡後，把另外兩個兵團司令的職務給了楊勇和陳錫聯。抗美援朝戰爭爆發後，王近山出任誌願軍第3兵團代司令，率部參加了第五次戰役，所屬60軍180師在回撤途中遭受了重大損失，王近山負有一定的責任。
不久後白馬山戰役打響，新任38軍軍長江擁輝決定對敵人發動突然襲擊。不料就在戰鬥即將打響的前三天，谷中蛟叛變投敵，泄露了38軍的進攻計劃。江擁輝請求提前或延後發起白馬山戰役，但遭到王近山的拒絕，並說：你拿這麽大一把牛刀殺雞，還哆嗦？最終白馬山戰役按時發起，38軍和敵人激戰數個晝夜不僅未能拿下白馬山，還付出了將近7000人的傷亡代價。
以此來看，王近山在指揮大兵團作戰方面，的確是有所欠缺的。這也從另一個側面說明了劉伯承用人確實有獨到之處。其實在考慮二野三個兵團司令的人選時，劉伯承還落下了一員悍將，他就是擔任過中野二縱司令的陳再道。陳再道是四方面軍出身的猛將，紅軍時期立過許多戰功。紅軍改編為八路軍後，他出任129師386旅的副旅長，是陳賡的得力助手之一。
1938年，陳再道被派往冀南獨當一面。在短短三個月的時間內，他就將部隊從500人發展到了10000多人，並成功建立了冀南抗日根據地。解放戰爭爆發後，陳再道先是擔任冀南縱隊司令，率部參加了上黨戰役，不久後出任中野二縱司令，跟隨部隊參加了千裏躍進大別山和淮海戰役等戰役戰鬥，立下許多戰功。
那麽劉伯承在考慮二野三個兵團司令的人選時，為何落下了陳再道呢？與他在羊山集戰役中的表現有關。1947年7月下旬，中野在挺進大別山的途中在羊山集和宋瑞珂的整編第66師爆發了激烈的戰鬥。陳再道指揮兩個縱隊的絕對優勢兵力沒能拿下羊山集，部隊還付出了一定的傷亡代價。
此時敵人的援軍也已經逼近戰場，劉伯承臨陣換將，讓陳錫聯代替指揮，這才拿下了羊山集。在之前的鄭莊寨戰鬥中，陳再道的2縱就因為指揮問題導致主力16團遭受重大傷亡，英雄團長宋東旭還不幸犧牲。這次羊山集又沒能打好，說明他在指揮大兵團作戰方面還是有所欠缺的。因此劉伯承在考慮二野三位兵團司令的人選時，才落下了陳再道。但後來陳再道的成就也很大，擔任過武漢軍區的司令員。
