皖南事變後，中央命令重建新四軍軍部。新組建的新四軍下轄7個主力師和一個獨立旅，其中
1師由蘇北指揮部所屬部隊改編而來，師長粟裕，政委劉炎，副師長兼1旅旅長葉飛，政治部主任鐘期光，還有王必成、陶勇這兩員悍將分別為2、3旅旅長；
2師由原江北指揮部所屬部隊改編，師長張雲逸，政委鄭位三，副師長羅炳輝，政治部主任郭申述。下轄3位旅長依次為梁從學、成鈞、譚希林（三人都為開國中將）；
3師由黃克誠帶來的八路軍第五縱隊組成，師長兼政委黃克誠，副師長張愛萍，政治部主任吳文玉。所部三位旅長依次為彭明治、田守堯、張愛萍；還有洪學智、韋國清、宋維軾、覃健等名將；
4師是原來的八路軍第四縱隊改編而來，師長兼政委彭雪楓、參謀長張震、政治部主任肖望東。三個旅長依次為劉震、滕海清、譚友林；
5師是原豫鄂挺進縱隊，師長兼政委李先念，該部由中央軍委直接指揮，只是建制上隸屬於新四軍；
6師由新四軍江南部隊改編而來，師長兼政委譚震林，參謀長兼16旅旅長羅忠毅，另一旅長為江渭清。該師實力較弱，僅有兩個旅外加一個保安司令部；
7師是皖南突圍部隊和第三挺進團合編而來，師長張鼎丞、政委曾希聖、副師長傅秋濤，該師僅下轄一個旅。
由此不難看出，6師在新四軍中實力屬於較弱的一支，不僅兵員不如兄弟部隊充足，軍事幹將也明顯不足。
更重要的是，他們所活動的區域——蘇南地區地形復雜，各方勢力魚龍混雜，既有日偽軍橫行霸道，同時又被長江、蕪湖、天目山等地形限制，輾轉騰挪空間不大，而且地靠淞滬，與敵人相距太近。
1941年8月，處在蘇南的6師在敵軍的重兵壓迫下作戰失利，所部18旅奉命轉移到了江北避敵鋒芒。3個月後，留在蘇南的一個旅，即16旅在溧陽塘馬遭到日偽合圍，旅長羅忠毅、政委廖海濤英勇犧牲。這對6師來說，是一個很大的打擊。
12月上旬，譚震林率領6師師部北渡長江，進入了粟裕所在的蘇中軍區。
6師師長譚震林，雖然在軍事上也有所貢獻——3年遊擊戰期間，他的張鼎丞、鄧子恢並稱堅守閩西的「東南三傑」，當時的軍事指揮主要就是靠譚震林，但更擅長的還是政治工作。由於他身兼6師師長和新四軍副政委兩個要職，常常而導致他分身乏術。
在這樣的情況下，中央做出了將譚震林的6師並入粟裕的1師的決定。42年10月26日，毛主席命令：「一、六兩師領導機關對內合並，由粟裕同誌統一指揮。」
至此，粟裕除了指揮1師和已經渡江的18旅，還指揮蘇南地區的16旅。其所轄兵力達到了5個旅，地盤一下子擴大了一倍，成了新四軍各師中實力最強的一支。
1944年12月，粟裕奉中央之命，率領1師和6師主力南渡長江，挺進江蘇、浙江，被任命為蘇浙軍區司令員，譚震林為政委（未到職）。
粟裕於是又成為指揮蘇浙軍區和原蘇中軍區的，所轄跨越江南、江北兩大軍區的軍事主官。
抗戰勝利後，隨著羅榮桓率山東主力挺進東北，新四軍部隊也開始了大規模的北遷，以填補羅榮桓留下來的空白。在這一背景下，羅炳輝率領新四軍2師、張愛萍率領新四軍4師、譚希林率領新四軍7師先後進入魯南根據地。（3師黃克誠率部去了東北，5師李先念在中原，6師和1師合並）
此時的粟裕還在長江以南的蘇浙軍區領導工作，本著「向北發展，向南防禦」的方針，中央決定暫時放棄江南，將粟裕所部也調往山東。
粟裕接到命令後，除留下了一小股部隊在江南堅持遊擊外，主力6.5萬人開始著手分批北渡長江，向魯南挺進。
新四軍江北、江南的主力紛紛北上，給原新四軍和華中局所屬的主要區域帶來了兵力上的空缺。
中央很快就意識到了這個問題，經過深思熟慮，他們認為「（粟裕）江南撤退，但江北（原新四軍主要地帶）必須控制，不可放松」，新四軍主力北移後，應該重新組建一個新的華中分局，堅持原地鬥爭，由譚震林、鄧子恢、張鼎丞三人組成。
但問題在於，這三人都不是軍事幹部，華中局書記饒漱石、新四軍代軍長張雲逸等人於是考慮讓粟裕不去山東，而是留在華中主管軍事。
之所以選擇粟裕，首先是因為粟裕在過去的幾年裏戰功突出，已經成了新四軍中最耀眼的明星，黃橋戰役、車橋戰役、天目山戰役讓他大放異彩，毛主席因此對周總理等人誇贊說：「粟裕同誌將來可以指揮四五十萬軍隊。」
「指揮四五十萬軍隊」，這是一個大戰略區的級別，由粟裕來指揮華中軍區的戰事正好符合主席的預期。
第二是因為粟裕在抗戰期間，長期在華中蘇浙活動，作戰經驗豐富，對地形民情了然於心。
華中局的電報發出後，中央很快回復：「同意粟裕留華中任司令」。
10月14日，粟裕首次看到了中央任命他為蘇皖軍區（即華中軍區）司令員，張鼎丞為副司令員的電報。他看後頗為不安，認為張鼎丞同誌德高望重，自己過去長期在他的領導下工作，由張出任正職，自己為副更利於工作和團結。
粟裕把自己的想法告訴了饒漱石，饒漱石卻認為，在大規模戰爭即將到之際，還是讓粟裕為正比較好，所以並未同意他的意見。
粟裕返回駐地後，讓機要科暫扣下中央的任命電報，又親自向中央寫了一封電報說明自己的想法。毛主席看後，認為讓粟裕出任華中軍區司令員是非常恰當的，並沒有同意粟裕的謙虛之舉。
華中局於是正式釋出通知，但粟裕仍然覺得不妥，再次給毛主席致電請求改任副職。中央領導經過慎重研究，最終想到了一個兩全其美的辦法：
讓張鼎丞為華中軍區司令員，粟裕為副司令員；同時，將華中軍區和華中野戰軍司令部份開，讓粟裕兼任野戰軍司令員，負責軍事行動。
至此，粟裕才不再推辭。
毛主席的眼光果然準確，粟裕走馬上任之後沒多久，就率領華中野戰軍取得了蘇中七戰七捷的光榮勝利。毛主席收到戰報大喜，將其作戰經驗通報全軍，要求各區「仿照辦理」。朱德總司令也盛贊：「粟裕在蘇中戰役中消滅的敵人，比他自己的兵力還多。」
後來，華中野戰軍有序結束蘇北，與陳毅指揮的山東野戰軍領導機構合並，華野由此形成，沒過多久，毛主席就專門給山東軍區發去電報：
「陳（毅）張（鼎丞）鄧（子恢）曾（山）粟（裕）譚（震林）團結協和極為必要。在陳領導下，大政方針共同決定（你們六人經常在一起，以免往復電商貽誤戎機），戰役指揮交粟負責。」
「戰役指揮交粟負責」，這短短的8個字，再次體現了毛主席對粟裕的無限其中，也是他在天目山大捷後，預言「粟裕同誌將來可以指揮四五十萬軍隊」的又一次委以重任。
到1949年1月，華野改編為三野時，已經下轄7、8、9、10四個兵團15個軍1個縱隊1個特種兵縱隊，共計58萬人，粟裕也真正成為了指揮四五十萬軍隊的傑出統帥。
