1948年8月，華野特種兵縱隊司令員陳銳霆在西柏坡見到了毛主席，談話中，毛主席提到了粟裕，並托陳銳霆向他轉告： 「你回去代我問粟裕同誌好，告訴他，我把黃百韜、邱清泉記在他名下了。」
一個月前，豫東戰役第三階段，華野將黃百韜兵團死死圍困在了帝丘店一帶，就在黃百韜兵團即將被全殲的時候，邱清泉卻繞過了我軍的阻擊陣地，胡璉也突破了中野的防線逼近太康。
面對國軍多路援軍逼近的嚴峻形勢，粟裕果斷決定放棄全殲黃百韜兵團，迅速脫離戰場。黃百韜由此逃過一劫。
時間來到11月，隨著淮海戰役第一階段的展開，粟裕的第一個拳頭再次落在了黃百韜兵團的身上。
被包圍在碾莊地區後，黃百韜因為有豫東戰役中的防守經驗，顯得自信十足，他將李彌兵團在這裏修建的工事進一步改進，構成了以地堡為骨幹、交通壕相溝通的環形防禦陣地，加上空軍的配合，打算在這裏長期堅守，中心開花。
11月11日，華野基本完成了對黃百韜兵團的包圍，並迅速部署了圍殲黃百韜的作戰計劃：
一、以5個縱隊配合特縱的大炮、坦克，組成突擊集團，由 華野參謀長陳士榘 統一指揮，負責圍殲黃百韜。
二、以3個縱隊組成正面阻援集團，由 山東兵團副司令員王建安、政委譚震林 指揮，負責阻擊自徐東而來的邱清泉兵團和李彌兵團一部。
三、以華野2個縱隊，外加中野11縱和魯東南縱隊，組成迂回打援集團，由 韋國清、吉洛 指揮，負責截斷邱、李的退路，待黃百韜被全殲後，華野便可騰出手來將邱、李殲滅。
布置完成後，當晚陳士榘就下令部隊進行了試探性的進攻。第二天，也就是11月12日，陳士榘下令華野突擊集團5個縱隊同時出擊，采用突擊戰術，猛攻猛打。
由於黃百韜兵團近10萬人被壓縮在狹小的空間內，部隊猬集一處，我軍無法采取最為擅長的穿插分割、各個擊破戰術無法施展，一時間，我軍的攻勢被化解了下來。
經過3天的猛攻，黃百韜兵團依然負隅頑抗，突擊集團雖然英勇作戰，但進展卻不如人意，而且部隊的傷亡在不斷擴大。
眼看黃百韜在碾莊站住了腳，徐州「剿總」劉峙大喜，特地召開記者會宣揚黃百韜如何如何神勇。
粟裕很快也從陳士榘的匯報中得知了前線的情況，為了摸清原因，他一一給幾個縱隊的司令員打去電話，詢問他們具體情況。
時任13縱司令員的周誌堅正是當年圍殲黃百韜兵團的幾個縱隊司令員之一，他晚年在回憶錄中寫道，部隊攻擊受挫後，他心情沈重地回到了指揮所，這時候「粟老總」打來了電話：
「攻擊剛開始，你們傷亡就這麽大，進展也很慢，下去整頓一下再打。」
「粟老總嚴厲地批評了我們，我拿著電話一句話也沒有說。首長的批評是對的，我從心裏接受。」
粟裕甚至親自跑到了附近的野戰醫院，了解調查傷員的情況，他發現，部隊的實際傷亡比他們報上來的數碼還要嚴重！
粟裕心情沈重地打通了4縱司令員陶勇的電話，問他4縱的傷亡情況，陶勇為了讓首長放心，故意少報了一些，粟裕把自己到野戰醫院的事情告訴他後，他才不再隱瞞。
粟裕又派身邊的參謀到前線調查，參謀回來告訴粟裕，大家都說黃百韜難打，一百米的陣地上擺了20多挺機槍。
粟裕徹夜難眠，他認真思考了部隊攻擊受挫的原因，11月14日晚，他召集參戰的各縱隊首長開了一個會。在會上，粟裕總結道：
首先 ，黃百韜有5個軍，每個軍的戰鬥力在國軍中都屬於中上，不容小覷，而我軍歷史上還未有過一次圍殲5個軍的大仗。這給我們的戰術使用、兵力分配上帶來了一些從未遇過的問題。
其次 ，黃百韜已經從運動轉入防守，又有牢固的工事。戰前，野司就強調過，要區分對運動之敵和防守之敵的打法，並讓9縱采用坑道近迫作業的戰術，但戰事已開，各縱隊動作太快，準備不充分。
再有 就是步炮協同、各縱隊之間的配合問題，以及「少數松勁泄氣表現」，粟裕強調，此戰對全國戰局影響甚大，打好了解放戰爭可以減少一年，中央下的最大決心是我軍要準備10萬人的傷亡！
最終，粟裕作了如下部署調整：
一，采用「先打弱敵，攻其首腦，亂其部署」的戰法，先把進攻的重點放在敵人較弱的部隊上。
二，強調進行夜戰和近戰，以大膽穿插瓦解對手的防守；將野戰轉為坑道近迫作戰，利用夜色掩護挖交通壕，一直挖到敵人陣地前。
三，由於陳士榘個人統一指揮5個縱隊，在操作上任務大，有難度，決定讓指揮系統較為完善的王建安、譚震林統一指揮。
時任華野副參謀長的張震將軍後來回憶這一往事時感慨地說道：當時，在陳士榘參謀長的指揮下，華野部隊已經把黃百韜合圍在了碾莊圩。
我軍從追擊轉入攻堅，「未及時轉換戰術，仍是猛打猛沖」，導致初期的攻勢成果不大。後來粟代司令員及時地召開了會議，調整了部署，才確保了後來戰事的順利進展。
經過調整後，華野於16日晚重新發起攻勢，戰至18日，44軍和100軍被全殲，其兩位軍長一俘一逃，華野進一步縮小包圍圈，準備對25軍和64軍的下一步進攻。
碾莊戰局隨之立刻明朗了起來，粟裕這才舒了一口氣，他放心地把最後的戰鬥交給了王建安、譚震林，自己則帶著華野司令部去了西線，指揮阻援的7個縱隊對付杜聿明集團去了。
到22日上午，華野部隊攻入了黃百韜的指揮部附近，黃昏時分，楊廷宴拉著黃百韜向西突圍，遭到我軍追擊，黃百韜舉槍自殺（一說被流彈擊中）。
楊廷宴坐在黃百韜屍體旁大哭，被我解放軍戰士發現後，楊廷宴說自己是個夥夫，死者是他哥哥，解放軍戰士於是幫他掩埋了黃百韜。
一直到戰鬥結束，我軍都沒有找到黃百韜的下落，之後撤出戰場。而一個月後，一支國軍則在逃回南京的楊廷宴的指導下摸回碾莊，找到了黃百韜的遺體，並將其運回南京安葬。蔣介石追贈其為陸軍上將，並 再追贈其 青天白日勛章。
