1946年底，山東野戰軍和華中野戰軍在宿北戰役大獲全勝後，又迅速發起了魯南戰役，目的是消滅敵人在棗莊、嶧縣等地的主力部隊。
魯南戰役分兩個階段展開，第一階段是集中兵力殲滅敵人的整編26師和第1快速縱隊，第二階段是圍攻棗莊、嶧縣，消滅敵人的整編51師。
敵人在棗莊、嶧縣等地的部隊，原本是從台兒莊地區進入解放區，意圖占領臨沂，威脅山東解放區的首府。臨沂對於解放區來說，具有重要的政治和軍事意義。
敵人的整編26師和第1快速縱隊作為中路突擊部隊，想要直搗臨沂，但是南線的33軍和北線的整編51師卻被宿北戰役的慘敗嚇住了，不敢跟進。於是，陳毅、粟裕首長決定利用這個機會，調動山東野戰軍的1縱、4師、9師、8師、警備旅，和華中野戰軍的陶勇1師，先後殲滅了敵人的整編26師和第1快速縱隊，然後再根據情況，選擇殲滅敵人的33軍或整編51師。
為了執行這個作戰計劃，部隊分為左右兩個縱隊，左縱隊由葉飛1縱和陶勇1師組成，由陳毅、粟裕直接指揮，右縱隊由4師、9師、10師、8師和警備旅組成，由王建安指揮。
左右兩個縱隊同時向南線和北線發起攻擊，迫使敵人的33軍和整編51師、52師、整編26師、快速縱隊撤退到棗莊、嶧縣等地。在短短的42小時內，就成功地消滅了敵人的整編26師和第1快速縱隊。
第二階段的戰鬥，是圍攻棗莊、嶧縣，殲滅敵人的整編51師。敵人的33軍在南線被打得潰不成軍，而敵人的整編51師、52師的一個團，和整編26師的第1快速縱隊的殘余部隊，都退守到棗莊。上級命令調動陶勇1師、8師、警備旅、4師、9師，對棗莊、嶧縣的敵人進行圍剿。
按照作戰部署，8師負責攻打嶧縣城，陶勇部負責攻打棗莊。棗莊是敵人的重要據點，防禦工事十分堅固，是日偽時期修建的，不容易攻破。陶勇部打了五天，也沒有攻下來，損失了不少戰士。陶勇是個敢打硬仗的將領，從不輕易認輸，但這次他也有些心灰意冷，向粟裕請示是否可以暫停進攻。
為什麽打了五天還沒有攻下棗莊呢？原因就在於部隊缺乏攻堅戰的經驗。在抗戰時期，部隊主要打的是遊擊戰，很少接觸城市攻堅戰，不懂得如何有效地破壞敵人的防禦工事。
粟裕聽了陶勇的請示，就向葉飛征求意見。葉飛1縱原本是華中部隊，1945年12月本來要北上東北，後來因為形勢變化，就留在山東，編入山東野戰軍。他們剛到山東的時候，也不懂得攻堅戰，經過幾次戰鬥，才發現攻堅戰的關鍵是爆破，因為部隊沒有重武器，只能靠炸藥包來炸開敵人的工事。
葉飛1縱在攻堅戰上積累了不少經驗，這一點粟裕非常清楚。葉飛說，他建議繼續攻打棗莊，不能讓敵人占了便宜。他還說，他的1縱在打棗莊的時候，也接到了打齊村的任務，齊村也是一個攻堅戰，他只用了一個旅的兵力，就很快攻下了。他建議把他的2旅調給陶勇，讓他指揮，繼續打棗莊。葉飛還親自到陶勇的指揮部，勸他不要氣餒，要堅持打下棗莊。他還告訴他，攻堅沒有什麽秘訣，就是要會爆破。
葉飛把他打齊村的經驗和方法，都告訴了陶勇。粟裕也調來了有攻堅經驗的8師，和葉飛的2旅，配合陶勇的部隊，從四個方向同時進攻棗莊，最後終於攻下了棗莊。
魯南戰役共殲滅敵人5.3萬余人，繳獲了大量的武器彈藥。
戰役結束後，葉飛對粟裕說，打攻堅戰，一定要學會爆破技術，他們到山東打仗，就是跟著山東部隊學習爆破技術，才能打好攻堅戰。
