1946年6月，蒋介石对解放区发起了全面的进攻，在华东战场上，国军的进攻的重点方向是淮安、淮阴。
当时山东野战军主力在鲁南，华中野战军主力在苏中，两淮正好是空虚之处，淮南军区分区仅有3个旅8个团的兵力，而且战斗力和装备都不算强。
为了粉碎国军的进攻，6月26日，中央指示陈毅，采用「敌进我进」的战略方针，率领山东主力出击徐州、蚌埠之间；同时指示华中野战军西进，与陈毅配合，调动敌人并歼灭之。
陈毅收到电报后，即召华中野战军政委谭震林到鲁南商议协同作战的计划。
按照陈毅的想法，他想集中山东、华中两大野战军，在徐州地区与国军进行一场大的会战。但谭震林、粟裕等人却希望华中部队暂不北上，利用内线的优势，先在苏中打几个歼灭战。
由于粟裕的苏中七战七捷打得风生水起，毛主席于是同意华中部队暂不北上。
陈毅率部南下后，担负了在淮北作战的任务。7月28日，陈毅率部初战朝阳集，获得了南下后的首次胜利，全军士气大振。
而国军在受挫之后，则放慢了进军的脚步，命令左路部队互相靠拢，谨慎前进。在这样的情况下，山东野战军失去了歼灭该敌的条件。
与此同时，陈毅和山野参谋长宋时轮注意到，国军右路部队2个团在占领泗县后，显得较为突出，于是决定以22个团攻打此地（6个团攻城，其余部队在外围打援），然后向徐州方向攻击。
当时正值雨季，山野向泗县进军时遭遇连日大雨，途中到处一片汪洋，国军驻扎的村子沟深水满，不好突击，山野部队每夜只能走20多里，开始陷入疲劳，伤病员增加。
7月30日，华中分局的张鼎丞、邓子恢电告陈毅，防守泗县的桂系部队经过白崇禧经营多年，战斗力相当强悍，劝他改变方案去打蒋系部队。
8月2日，陈毅、宋时轮回电认为： 「历来打桂系均用相当兵力，故奏效不大，此次改变是可能奏效的，以决定5日夜攻泗城不再变。」
一天后，毛主席也给陈毅、宋时轮发去电报，指出：「凡只有击溃不能歼灭之仗不要打，只要主力在手，总有机会歼敌。过于急躁之意见并不恰当。」
又一天后，主席再次发来电报，要他们不要「性急」。
但是，在8月2日，陈毅、宋时轮已经下达了攻击泗县的命令，中央和华中局的电报并没有让他们改变决心。
经过5天的攻坚，山野部队胜利攻入泗县，但出乎意料的是，城破之后的桂军并未一败涂地，他们依然在熟练地运用战术，向山野发起反突击。
桂系部队依托房屋向山野冲锋，而山野的火炮却因为洪水阻隔，无法运到，导致我军在火力上不占优势。
每个地点的战斗都异常激烈，有的连队军政干部全部伤亡，有一个连打到最后只剩下了一个班长指挥。桂系士兵又封建又团结，他们说： 「广西人打了败仗就没饭吃了，打了胜仗老蒋还要我们。」
【九纵泗城战斗详报】记录了惊心动魄的一笔：
我们抓了3个伤兵俘虏后，无人看管，这3个伤兵竟然联合起来咬我军的一个伤员，一个通信员经过时看见这一幕，用刺刀捅死一个，另外两个才屈服。
当时的战斗之激烈由此可见一斑。
战斗进行到最激烈的时候，山野参谋长亲自来到8师指挥作战，陈毅也在指挥部里反复询问前线的最新情况。
最后，鉴于部队伤亡数量和疲劳程度，陈毅最终下令部队停止攻击，撤往睢宁地区休整。
泗县战斗，我军歼灭桂系部队3000多人，己方伤亡也大致相当。战后，8师政委丁秋生请求处分，陈毅安慰他：「泗县之战，我认为不是什么败仗，充其量也只是一次平仗。」
一个多月后，陈毅给8师领导写信，主动揽过了责任： 「三（个）月来未打好，不是部队不好，不是师旅团不行，不是野战军参谋处不行，主要是我这个统帅犯两个错误，一是先打强，即不应该打泗县；二是不坚决守淮阴。」
陈毅在关键时刻能站出来鼓励部下，不抱怨，不推据，不丧失信心，其胸怀和气度令人钦佩。
泗县战斗后，山东野战军退出了淮北。此时，山野经过一个月的作战，已经相当疲劳，需要一段时间的休整。
陈毅向中央申请休整，毛主席认为，山野休整的计划「事实上不可能」，敌人正在向东攻击，企图威胁淮阴、临沂，我军此时休整反而会让自己陷入被动地位。正确的做法是「仿粟裕办法，集中主力歼敌一部」，边打边休整，边休整边打。「刘邓军、中原军均希望你军配合。」
于此同时，山东方面，国军李弥的军队沿着胶济路一路向我鲁中军区发起攻击，张云逸急电陈毅告急，希望他率部回师山东。
而华中方面，粟裕、谭震林则建议陈毅将韦国清的2纵南调高邮，协助华中野战军防守国军，阻止其沿运河北上。
中央要陈毅留在原地阻击向东攻击的国军，山东要他向北，华中要他向南，局面一下子变得非常棘手。毛主席权衡再三，觉得山东根据地至关重要，不容有失，提出可以将8师调回山东，并派徐向前来山东，负责鲁南前线的指挥。
直到1946年年底，华东战场的主战场还在苏北，由于攻势顺利，国军决定正面攻击苏北根据地的中心城市：淮安和淮阴。
而山野在泗县失利后，东移到了泗阳休整待机。面对国军对两淮的攻势，陈毅、宋时轮决定，将山野主力北移到沐阳、宿迁方向，寻机打击来犯之敌，而留下9纵在泗阳防守。
粟裕、谭震林看到陈毅的作战计划，马上通过邓子恢转告陈毅与中央，这样的兵力布置，可能导致两淮空虚，「我们请求山野必须在泗阳地区打几个仗以挫敌锐，负责两淮不保。」
结果不出所料，国军东进之后，虚晃一枪突然南下，避开了山野主力直扑泗阳，9纵与敌人激战一日，最终撤退。之后国军越过泗阳，一路向淮阴急进，谭震林向陈毅告急后，陈毅急派2纵南下支援，却因王营大桥被敌人破坏无法通过。
在这样的情况下，毛主席命令粟裕率领苏中主力开赴两淮，但是，由于交通限制，华中主力最快也要20天才能到达。
淮阴保卫战进行到白热化的时候，74师师长张灵甫一度信心动摇，想停止攻势，等待援军，但南京方面却说，他们已经准备好了要广播国军攻占淮阴城的好消息。张灵甫无奈只好继续进攻。
最终，粟裕赶到淮阴和谭震林会合，并建议我军放弃淮阴。不久后，我军又主动放弃了淮安。两淮保卫战至此结束。
