淮海戰役是1948年11月6日開始的，一直到1949年1月10日，共計歷時66天。
在山東南部，有一座城市叫郯城，該城與邳縣和海州相鄰，距離新安鎮25公裏，既是連線山東與華中的南北交通的要點，也是華野南下的必經之地。
淮海戰役前，駐防郯城的是王洪九的山東保安一旅，共計3000余人，該旅歸黃百韜7兵團指揮。
1948年11月6日傍晚，魯中南縱隊1.4萬人突然行動，包圍了郯城，經過一天一夜的激戰，於8日拂曉，全殲保一旅，俘虜了王洪九。
所以，6日傍晚分時開始的郯城之戰，魯中南縱隊打響了淮海戰役的第一槍，郯城的攻克，為華野大軍南下打通了道路。
魯中南縱隊是1948年7月時，由魯中南軍區基幹團改組為為華野魯中南縱隊。
1948年10月，濟南戰役結束後不久，全縱隊整編為2個師6個團，分別是46師、47師，各自下轄了3個團，全縱隊共計1.4萬人，在整個華東野戰軍序列，魯中南縱隊的人數僅僅位元縱和兩廣縱隊多，排行倒數第三。
1949年2月時，魯中南縱隊與吳化文的部隊合編為35軍，下轄第103、第104、第105師，每個個師下轄3個團，其中2個團是原魯中南縱隊的，1個團是原吳化文部隊的，35軍隸屬於華野7兵團。
本來吳化文和魯中南縱隊的戰士們有仇，合編命令下來後，很多指戰員都不理解，抗拒情緒很大，後來是陳老總親自做工作，加上吳化文當眾承認錯誤，這次順利完成整編。
在渡江戰役中，35軍劃歸8兵團，其運氣非常好，解放了南京，第一個將紅旗在南京總統府上面升起，這是非常光榮的。
1949年9月，35軍下轄的3個師，103師、104師、105師撥歸浙江軍區建制，分別兼任衢州軍分區、紹興軍分區和杭州警備區。
1950年1月，由於35軍下面已經沒有部隊了，第35軍番號撤銷，軍部及軍屬炮兵團撥歸華東軍區海軍。
