1946年12月，陳毅，粟裕率領的山東野戰軍和華中野戰軍在宿北粉碎了國民黨軍的進攻後，想要等張靈甫率兵北上，再打一場圍殲戰。但是讓他們沒有想到的是，山東方向形勢突然告急，薛嶽不甘心宿遷失利，命令馬勵武東進直插臨沂，山東留守部隊難以抵擋，敗下陣來。陳毅粟裕迅速回兵魯南，準備在魯南圍殲敵軍。
當時薛嶽指揮的部隊有原東北軍整編51師，西北軍整編33軍，還有中央軍嫡系部隊的馬勵武整編26師，並配屬一個快速縱隊。馬勵武所部還有配屬他的快速縱隊裝備十分精良，配有坦克數十輛，大口徑火炮上百門，汽車500百多輛，擁有很強的機動作戰能力，這支部隊也是蔣介石的心肝寶貝，整編26師師長馬勵武畢業於黃埔一期，頗受蔣介石的器重。
馬勵武率領所部攻擊華野大本營的時候，聽到戴之奇的整編69師被陳粟所部給殲滅了，自己也不敢繼續冒進了，於是指揮整編26師和快速縱隊在臨沂西南的卞莊，向城等地轉入防禦，左翼的整編51師位於棗莊，齊村地區，右翼的33軍59師，77師等部位於台兒莊以東地區。這支部隊的左右兩翼都是地方部隊，和中央軍的關系並不好，所以後來馬勵武被圍的時候，這兩支部隊增援的力度並不大。
魯南戰役的時候，原西北軍33軍距離陳粟所部的距離最近，裝備戰鬥力都不如馬勵武的整編26師和快速縱隊，那麽為什麽當時陳粟不先打掉這支部隊呢？其實原因很簡單，因為當時張克俠，何基灃都在這支部隊中，還不是讓張克俠，何基灃起義的時候，以後另有大用。
宿北戰役結束僅僅12天，1947年1月1日，讓薛嶽和馬勵武都沒有想到的是，粟裕指揮大軍向他們殺來了，當天參戰部隊就全部進入了陣地。1月2日晚，解放軍突然對馬勵武所部發動進攻，3日，山東野戰軍和華中野戰軍將其分割包圍，三日夜，解放軍各部隊開始了全面進攻，並在當晚殲滅了整編26師師部大部，使該師指揮系統癱瘓，亂成一團，駐守在太子堂的第44旅，還有駐守在卞莊的169旅 ，也被解放軍殲滅。
1月4日，整編26師殘部在快速縱隊坦克大炮的掩護下，準備突圍，但是讓他們沒有想到的是，當天雨雪交加，道路泥濘不堪，根本不能突圍。9日晚，馬勵武被俘，國民黨軍整編26師殘部及快速縱隊也被殲滅，解放軍迅速擴大戰果，至20日，又殲滅了整編51師師部和兩個團，師長周毓英被俘虜。
魯南戰役歷時19天，解放軍以傷亡8000余人的代價，殲滅國民黨軍兩個整編師師部，四個旅，一個快速縱隊共5.3萬人，其中俘虜3.6萬人。繳獲坦克24輛，大口徑的山炮，榴彈炮89門，汽車474輛以及各種火炮200余門（其中105公釐榴彈炮48門）。由於繳獲的物資實在太多，華野組建了第一個特種縱隊，極大地增強了部隊的火力。
