1938年4月，粟裕根據中共中央的指示，率領改編為新四軍的原挺進師部隊，經長途跋涉，到達皖南，與新四軍其他部隊會師。
皖南的4月，春光明媚，漫山遍野一片碧綠，映山紅花將這片綠色的世界點綴得分外妖嬈。這天，粟裕赴軍部開會，軍長葉挺給他一項重要任務：「粟裕同誌，軍部決定組建一支先遣支隊，先期進入蘇南敵後，執行戰略任務，由你擔任先遣隊司令員。」
「堅決完成任務。」粟裕興奮地說。
幾天後，一支精幹的先遣隊在粟裕及政治部主任鐘期光率領下，挺進蘇南敵後，執行偵察任務。他們不僅出色地完成了任務，並且主動尋找戰機，在韋崗打了一場漂亮的殲滅戰。
當時，國民黨正面戰場節節敗退，京(南京)、滬、杭各地相繼失守，日本侵略軍氣焰囂張。新四軍初到江南時，群眾對這支裝備落後、軍衣不整的軍隊能否在敵後站住腳持懷疑態度。
「我們挺進江南，不打一仗是不行的。」粟裕在正確分析了當時的政治、軍事形勢後，果斷地下了決心。
粟裕帶領80多人，悄悄進抵鎮江以南10多公裏處的韋崗，於拂曉前進入陣地。第二天早晨，從鎮江方向開來8輛日軍汽車。當第一輛汽車進入伏擊區，離新四軍陣地50米左右時，粟裕一聲令下，機槍、步槍一齊吐出火舌。經過一個小時的激戰，共計擊斃日軍少佐土井、大尉梅澤武四郎以下共30余人，擊毀汽車5輛，繳獲長短槍20余支，及大量軍用物資。
韋崗戰鬥，是新四軍挺進江南敵後打擊日本侵略軍的第一仗，這一仗打出了新四軍的威風，又一次打破了日軍不可戰勝的神話。
蔣介石曾電令新四軍軍部嘉獎這次戰鬥：葉軍長：所屬粟部，襲擊韋崗，斬獲頗多，殊堪嘉尚，仍希督飭繼續努力，達成任務。
為紀念這次勝利，粟裕作【韋崗初勝】詩慶賀：「新編第四軍，先遣出江南。韋崗斬土井，處女奏凱還。」
韋崗伏擊戰後，粟裕一邊頻繁地組織部隊對日作戰，一邊摸索對日軍作戰的規律。經過一段時間的探索，他心裏有底了。他對鐘期光說：「以我軍的力量，在敵後作戰，還是要以遊擊戰為主。」
鐘期光同意道：「打遊擊我們都是行家嘛！」
這以後的幾個月裏，粟裕運用遊擊戰的原則，打了一連串漂亮仗。小丹陽戰鬥，日軍出動步兵4000余人，騎兵500余人，轟炸機20架，兵分八路，水陸並進，企圖一舉聚殲新四軍二支隊三團於小丹陽地區。
粟裕指揮部隊采用靈活的遊擊戰術，分散襲擊敵人後方，轉內線作戰為外線作戰，分兵一部進襲當塗，一部進擊南京附近的陶吳；另選一支精兵，奔襲南京近郊，奪取雨花台制高點，直接攻擊中華門內敵軍事目標。
日寇耗費了大量人力、物力，連新四軍影子都找不到，後方卻四處挨打，處處告急，只得慌忙撤兵。粟裕乘勝襲擊南京麒麟門、秣陵關、大校場機場，威震大江南北。
奇襲官陡門一仗，打得更為漂亮。官陡門，在日軍盤踞的戰略基地蕪湖北郊飛機場附近，這裏河溝縱橫交錯，百余裏內只有兩條路進出，地勢險要。
1939年1月18日淩晨，粟裕帶領大部隊冒著大雪出發，急行軍至預定區域。21日4點多鐘，突擊隊發起進攻，迅速突破敵鐵絲網，越過障礙物，直搗敵據點司令部，消滅了全部守敵。
這次戰鬥，從開始進攻到結束，只花了8分鐘，活捉敵偽軍57名，擊斃和擊傷敵人更多；繳獲一大批槍支彈藥，突擊隊僅有兩名戰士輕傷。
新四軍在江南打出了威風，一時間人人都在傳誦著「粟司令」打仗神出鬼沒的故事。1939年11月，根據形勢發展的需要，新四軍軍部決定成立新四軍江南指揮部，由陳毅任指揮，粟裕任副指揮，統一指揮新四軍在蘇南各部隊及其他地方武裝。
此後，陳毅和粟裕指揮部隊馳騁大江南北，創造了一個又一個輝煌戰績。黃橋決戰，就是這一時期以少勝多的著名範例。
1940年7月，根據中央關於新四軍東進、北上的戰略部署，陳毅和粟裕為了開啟蘇北抗戰的局面，率領部隊進軍黃橋，開辟以黃橋為中心的抗日根據地。
然而國民黨江蘇省主席兼魯蘇戰區副總指揮韓德勤按照蔣介石的命令，於9月初調集重兵南犯，企圖趁新四軍立足未穩，將新四軍趕出蘇北。
韓德勤兵分兩路向新四軍進攻，陳毅、粟裕采取誘敵深人、分割圍殲的戰術，首戰擊潰頑固派2個團。韓德勤又改變手法，采用堡壘政策，步步為營，進駐姜堰。陳毅、粟裕集中兵力攻克姜堰，迫使韓德勤假意議和。
但是，韓德勤並不甘心。10月初，他又調集3萬兵力，向黃橋撲來。黃橋地處靖江、如臯、海安、泰興、泰縣中心，北面是通揚河，南面是長江，西面有一條運河，周圍有不少日軍據點。
如果新四軍控制黃橋，向南可控制南通、海門、如臯、啟東等地，進而與江南新四軍呼應，控制長江通道，對日軍造成嚴重威脅。
如果一旦失守，新四軍就沒有回旋余地。陳毅和粟裕分析形勢，認為此仗非打不可。然而，陳毅和粟裕所部僅5000余人。為了殲滅頑軍，陳、粟決定爭取中間派，集中全力打擊韓德勤主力。軍事上采用誘敵深入、各個擊破的方針。以黃橋為軸心，粟裕在黃橋組成前線指揮部，負責戰場指揮；陳毅坐鎮黃橋西北10余裏之外的嚴徐莊，掌握全域。
粟裕對戰役進行了周密部署。他命令陶勇指揮的三縱隊堅守黃橋；由葉飛、王必成分別率領一、二縱隊，隱蔽集結於黃橋西北的顧高莊、橫巷橋一帶，待機出擊。戰鬥打響時，一縱隊以一部兵力誘敵深入，至黃橋五六裏時，一縱主力突然出擊，迅速殲滅了頑軍獨立六旅。
一縱、二縱又乘勝追擊，合圍頑軍八十九軍，將其大部殲滅。頑軍為了扭轉不利局面，猛攻黃橋。黃橋東北方向圍墻倒塌，部隊傷亡較大。
三縱司令員陶勇身先士卒，帶領部隊反擊，將突進黃橋的頑軍殲滅。又配合二縱殲滅頑軍三十三師。
粟裕見時機成熟，指揮部隊全線出擊，殲滅頑軍八十九軍軍部和三四九旅大部，取得了黃橋決戰的勝利。
黃橋決戰勝利，完成了新四軍開辟蘇北的戰略任務，開啟了華中抗日新局面。在戰役中，粟裕指揮果斷，用兵靈活，僅用三天時間，殲頑軍1.1萬余人，顯示出卓越的軍事思想和高超的指揮才能。
1941年1月皖南事變後，原新四軍蘇北指揮部所屬部隊編為第一師，由粟裕任師長。
粟裕領導的第一師堅持蘇中抗擊敵寇，打了許多漂亮戰，較著名的有1941年秋冬蘇中要點爭奪戰，1942年春季粉碎日軍對蘇中根據地「掃蕩」作戰，1944年3月的東橋殲滅戰，1945年的天目山戰役等。
據統計，從1939年至1943年5年內，粟裕領導的部隊先後戰鬥5000余次，斃、傷、俘日偽軍10萬余人。曾任新四軍政治委員的劉少奇，高度評價粟裕領導的新四軍第一師：「在抗戰中建立了最大的功勞，在我全軍中以粟裕的第一師作戰最多，戰果最大。」
