1938年4月，粟裕根据中共中央的指示，率领改编为新四军的原挺进师部队，经长途跋涉，到达皖南，与新四军其他部队会师。
皖南的4月，春光明媚，漫山遍野一片碧绿，映山红花将这片绿色的世界点缀得分外妖娆。这天，粟裕赴军部开会，军长叶挺给他一项重要任务：「粟裕同志，军部决定组建一支先遣支队，先期进入苏南敌后，执行战略任务，由你担任先遣队司令员。」
「坚决完成任务。」粟裕兴奋地说。
几天后，一支精干的先遣队在粟裕及政治部主任钟期光率领下，挺进苏南敌后，执行侦察任务。他们不仅出色地完成了任务，并且主动寻找战机，在韦岗打了一场漂亮的歼灭战。
当时，国民党正面战场节节败退，京(南京)、沪、杭各地相继失守，日本侵略军气焰嚣张。新四军初到江南时，群众对这支装备落后、军衣不整的军队能否在敌后站住脚持怀疑态度。
「我们挺进江南，不打一仗是不行的。」粟裕在正确分析了当时的政治、军事形势后，果断地下了决心。
粟裕带领80多人，悄悄进抵镇江以南10多公里处的韦岗，于拂晓前进入阵地。第二天早晨，从镇江方向开来8辆日军汽车。当第一辆汽车进入伏击区，离新四军阵地50米左右时，粟裕一声令下，机枪、步枪一齐吐出火舌。经过一个小时的激战，共计击毙日军少佐土井、大尉梅泽武四郎以下共30余人，击毁汽车5辆，缴获长短枪20余支，及大量军用物资。
韦岗战斗，是新四军挺进江南敌后打击日本侵略军的第一仗，这一仗打出了新四军的威风，又一次打破了日军不可战胜的神话。
蒋介石曾电令新四军军部嘉奖这次战斗：叶军长：所属粟部，袭击韦岗，斩获颇多，殊堪嘉尚，仍希督饬继续努力，达成任务。
为纪念这次胜利，粟裕作【韦岗初胜】诗庆贺：「新编第四军，先遣出江南。韦岗斩土井，处女奏凯还。」
韦岗伏击战后，粟裕一边频繁地组织部队对日作战，一边摸索对日军作战的规律。经过一段时间的探索，他心里有底了。他对钟期光说：「以我军的力量，在敌后作战，还是要以游击战为主。」
钟期光同意道：「打游击我们都是行家嘛！」
这以后的几个月里，粟裕运用游击战的原则，打了一连串漂亮仗。小丹阳战斗，日军出动步兵4000余人，骑兵500余人，轰炸机20架，兵分八路，水陆并进，企图一举聚歼新四军二支队三团于小丹阳地区。
粟裕指挥部队采用灵活的游击战术，分散袭击敌人后方，转内线作战为外线作战，分兵一部进袭当涂，一部进击南京附近的陶吴；另选一支精兵，奔袭南京近郊，夺取雨花台制高点，直接攻击中华门内敌军事目标。
日寇耗费了大量人力、物力，连新四军影子都找不到，后方却四处挨打，处处告急，只得慌忙撤兵。粟裕乘胜袭击南京麒麟门、秣陵关、大校场机场，威震大江南北。
奇袭官陡门一仗，打得更为漂亮。官陡门，在日军盘踞的战略基地芜湖北郊飞机场附近，这里河沟纵横交错，百余里内只有两条路进出，地势险要。
1939年1月18日凌晨，粟裕带领大部队冒着大雪出发，急行军至预定区域。21日4点多钟，突击队发起进攻，迅速突破敌铁丝网，越过障碍物，直捣敌据点司令部，消灭了全部守敌。
这次战斗，从开始进攻到结束，只花了8分钟，活捉敌伪军57名，击毙和击伤敌人更多；缴获一大批枪支弹药，突击队仅有两名战士轻伤。
新四军在江南打出了威风，一时间人人都在传诵着「粟司令」打仗神出鬼没的故事。1939年11月，根据形势发展的需要，新四军军部决定成立新四军江南指挥部，由陈毅任指挥，粟裕任副指挥，统一指挥新四军在苏南各部队及其他地方武装。
此后，陈毅和粟裕指挥部队驰骋大江南北，创造了一个又一个辉煌战绩。黄桥决战，就是这一时期以少胜多的著名范例。
1940年7月，根据中央关于新四军东进、北上的战略部署，陈毅和粟裕为了打开苏北抗战的局面，率领部队进军黄桥，开辟以黄桥为中心的抗日根据地。
然而国民党江苏省主席兼鲁苏战区副总指挥韩德勤按照蒋介石的命令，于9月初调集重兵南犯，企图趁新四军立足未稳，将新四军赶出苏北。
韩德勤兵分两路向新四军进攻，陈毅、粟裕采取诱敌深人、分割围歼的战术，首战击溃顽固派2个团。韩德勤又改变手法，采用堡垒政策，步步为营，进驻姜堰。陈毅、粟裕集中兵力攻克姜堰，迫使韩德勤假意议和。
但是，韩德勤并不甘心。10月初，他又调集3万兵力，向黄桥扑来。黄桥地处靖江、如皋、海安、泰兴、泰县中心，北面是通扬河，南面是长江，西面有一条运河，周围有不少日军据点。
如果新四军控制黄桥，向南可控制南通、海门、如皋、启东等地，进而与江南新四军呼应，控制长江通道，对日军造成严重威胁。
如果一旦失守，新四军就没有回旋余地。陈毅和粟裕分析形势，认为此仗非打不可。然而，陈毅和粟裕所部仅5000余人。为了歼灭顽军，陈、粟决定争取中间派，集中全力打击韩德勤主力。军事上采用诱敌深入、各个击破的方针。以黄桥为轴心，粟裕在黄桥组成前线指挥部，负责战场指挥；陈毅坐镇黄桥西北10余里之外的严徐庄，掌握全局。
粟裕对战役进行了周密部署。他命令陶勇指挥的三纵队坚守黄桥；由叶飞、王必成分别率领一、二纵队，隐蔽集结于黄桥西北的顾高庄、横巷桥一带，待机出击。战斗打响时，一纵队以一部兵力诱敌深入，至黄桥五六里时，一纵主力突然出击，迅速歼灭了顽军独立六旅。
一纵、二纵又乘胜追击，合围顽军八十九军，将其大部歼灭。顽军为了扭转不利局面，猛攻黄桥。黄桥东北方向围墙倒塌，部队伤亡较大。
三纵司令员陶勇身先士卒，带领部队反击，将突进黄桥的顽军歼灭。又配合二纵歼灭顽军三十三师。
粟裕见时机成熟，指挥部队全线出击，歼灭顽军八十九军军部和三四九旅大部，取得了黄桥决战的胜利。
黄桥决战胜利，完成了新四军开辟苏北的战略任务，打开了华中抗日新局面。在战役中，粟裕指挥果断，用兵灵活，仅用三天时间，歼顽军1.1万余人，显示出卓越的军事思想和高超的指挥才能。
1941年1月皖南事变后，原新四军苏北指挥部所属部队编为第一师，由粟裕任师长。
粟裕领导的第一师坚持苏中抗击敌寇，打了许多漂亮战，较著名的有1941年秋冬苏中要点争夺战，1942年春季粉碎日军对苏中根据地「扫荡」作战，1944年3月的东桥歼灭战，1945年的天目山战役等。
据统计，从1939年至1943年5年内，粟裕领导的部队先后战斗5000余次，毙、伤、俘日伪军10万余人。曾任新四军政治委员的刘少奇，高度评价粟裕领导的新四军第一师：「在抗战中建立了最大的功劳，在我全军中以粟裕的第一师作战最多，战果最大。」
