1946年6月，蔣介石對解放區發起了全面的進攻，在華東戰場上，國軍的進攻的重點方向是淮安、淮陰。
當時山東野戰軍主力在魯南，華中野戰軍主力在蘇中，兩淮正好是空虛之處，淮南軍區分區僅有3個旅8個團的兵力，而且戰鬥力和裝備都不算強。
為了粉碎國軍的進攻，6月26日，中央指示陳毅，采用「敵進我進」的戰略方針，率領山東主力出擊徐州、蚌埠之間；同時指示華中野戰軍西進，與陳毅配合，調動敵人並殲滅之。
陳毅收到電報後，即召華中野戰軍政委譚震林到魯南商議協同作戰的計劃。
按照陳毅的想法，他想集中山東、華中兩大野戰軍，在徐州地區與國軍進行一場大的會戰。但譚震林、粟裕等人卻希望華中部隊暫不北上，利用內線的優勢，先在蘇中打幾個殲滅戰。
由於粟裕的蘇中七戰七捷打得風生水起，毛主席於是同意華中部隊暫不北上。
陳毅率部南下後，擔負了在淮北作戰的任務。7月28日，陳毅率部初戰朝陽集，獲得了南下後的首次勝利，全軍士氣大振。
而國軍在受挫之後，則放慢了進軍的腳步，命令左路部隊互相靠攏，謹慎前進。在這樣的情況下，山東野戰軍失去了殲滅該敵的條件。
與此同時，陳毅和山野參謀長宋時輪註意到，國軍右路部隊2個團在占領泗縣後，顯得較為突出，於是決定以22個團攻打此地（6個團攻城，其余部隊在外圍打援），然後向徐州方向攻擊。
當時正值雨季，山野向泗縣進軍時遭遇連日大雨，途中到處一片汪洋，國軍駐紮的村子溝深水滿，不好突擊，山野部隊每夜只能走20多裏，開始陷入疲勞，傷病員增加。
7月30日，華中分局的張鼎丞、鄧子恢電告陳毅，防守泗縣的桂系部隊經過白崇禧經營多年，戰鬥力相當強悍，勸他改變方案去打蔣系部隊。
8月2日，陳毅、宋時輪回電認為： 「歷來打桂系均用相當兵力，故奏效不大，此次改變是可能奏效的，以決定5日夜攻泗城不再變。」
一天後，毛主席也給陳毅、宋時輪發去電報，指出：「凡只有擊潰不能殲滅之仗不要打，只要主力在手，總有機會殲敵。過於急躁之意見並不恰當。」
又一天後，主席再次發來電報，要他們不要「性急」。
但是，在8月2日，陳毅、宋時輪已經下達了攻擊泗縣的命令，中央和華中局的電報並沒有讓他們改變決心。
經過5天的攻堅，山野部隊勝利攻入泗縣，但出乎意料的是，城破之後的桂軍並未一敗塗地，他們依然在熟練地運用戰術，向山野發起反突擊。
桂系部隊依托房屋向山野沖鋒，而山野的火炮卻因為洪水阻隔，無法運到，導致我軍在火力上不占優勢。
每個地點的戰鬥都異常激烈，有的連隊軍政幹部全部傷亡，有一個連打到最後只剩下了一個班長指揮。桂系士兵又封建又團結，他們說： 「廣西人打了敗仗就沒飯吃了，打了勝仗老蔣還要我們。」
【九縱泗城戰鬥詳報】記錄了驚心動魄的一筆：
我們抓了3個傷兵俘虜後，無人看管，這3個傷兵竟然聯合起來咬我軍的一個傷員，一個通訊員經過時看見這一幕，用刺刀捅死一個，另外兩個才屈服。
當時的戰鬥之激烈由此可見一斑。
戰鬥進行到最激烈的時候，山野參謀長親自來到8師指揮作戰，陳毅也在指揮部裏反復詢問前線的最新情況。
最後，鑒於部隊傷亡數量和疲勞程度，陳毅最終下令部隊停止攻擊，撤往睢寧地區休整。
泗縣戰鬥，我軍殲滅桂系部隊3000多人，己方傷亡也大致相當。戰後，8師政委丁秋生請求處分，陳毅安慰他：「泗縣之戰，我認為不是什麽敗仗，充其量也只是一次平仗。」
一個多月後，陳毅給8師領導寫信，主動攬過了責任： 「三（個）月來未打好，不是部隊不好，不是師旅團不行，不是野戰軍參謀處不行，主要是我這個統帥犯兩個錯誤，一是先打強，即不應該打泗縣；二是不堅決守淮陰。」
陳毅在關鍵時刻能站出來鼓勵部下，不抱怨，不推據，不喪失信心，其胸懷和氣度令人欽佩。
泗縣戰鬥後，山東野戰軍結束了淮北。此時，山野經過一個月的作戰，已經相當疲勞，需要一段時間的休整。
陳毅向中央申請休整，毛主席認為，山野休整的計劃「事實上不可能」，敵人正在向東攻擊，企圖威脅淮陰、臨沂，我軍此時休整反而會讓自己陷入被動地位。正確的做法是「仿粟裕辦法，集中主力殲敵一部」，邊打邊休整，邊休整邊打。「劉鄧軍、中原軍均希望你軍配合。」
於此同時，山東方面，國軍李彌的軍隊沿著膠濟路一路向我魯中軍區發起攻擊，張雲逸急電陳毅告急，希望他率部回師山東。
而華中方面，粟裕、譚震林則建議陳毅將韋國清的2縱南調高郵，協助華中野戰軍防守國軍，阻止其沿運河北上。
中央要陳毅留在原地阻擊向東攻擊的國軍，山東要他向北，華中要他向南，局面一下子變得非常棘手。毛主席權衡再三，覺得山東根據地至關重要，不容有失，提出可以將8師調回山東，並派徐向前來山東，負責魯南前線的指揮。
直到1946年年底，華東戰場的主戰場還在蘇北，由於攻勢順利，國軍決定正面攻擊蘇北根據地的中心城市：淮安和淮陰。
而山野在泗縣失利後，東移到了泗陽休整待機。面對國軍對兩淮的攻勢，陳毅、宋時輪決定，將山野主力北移到沐陽、宿遷方向，尋機打擊來犯之敵，而留下9縱在泗陽防守。
粟裕、譚震林看到陳毅的作戰計劃，馬上透過鄧子恢轉告陳毅與中央，這樣的兵力布置，可能導致兩淮空虛，「我們請求山野必須在泗陽地區打幾個仗以挫敵銳，負責兩淮不保。」
結果不出所料，國軍東進之後，虛晃一槍突然南下，避開了山野主力直撲泗陽，9縱與敵人激戰一日，最終撤退。之後國軍越過泗陽，一路向淮陰急進，譚震林向陳毅告急後，陳毅急派2縱南下支援，卻因王營大橋被敵人破壞無法透過。
在這樣的情況下，毛主席命令粟裕率領蘇中主力開赴兩淮，但是，由於交通限制，華中主力最快也要20天才能到達。
淮陰保衛戰進行到白熱化的時候，74師師長張靈甫一度信心動搖，想停止攻勢，等待援軍，但南京方面卻說，他們已經準備好了要廣播國軍攻占淮陰城的好訊息。張靈甫無奈只好繼續進攻。
最終，粟裕趕到淮陰和譚震林會合，並建議我軍放棄淮陰。不久後，我軍又主動放棄了淮安。兩淮保衛戰至此結束。
