1948年8月，华野特种兵纵队司令员陈锐霆在西柏坡见到了毛主席，谈话中，毛主席提到了粟裕，并托陈锐霆向他转告： 「你回去代我问粟裕同志好，告诉他，我把黄百韬、邱清泉记在他名下了。」
一个月前，豫东战役第三阶段，华野将黄百韬兵团死死围困在了帝丘店一带，就在黄百韬兵团即将被全歼的时候，邱清泉却绕过了我军的阻击阵地，胡琏也突破了中野的防线逼近太康。
面对国军多路援军逼近的严峻形势，粟裕果断决定放弃全歼黄百韬兵团，迅速脱离战场。黄百韬由此逃过一劫。
时间来到11月，随着淮海战役第一阶段的展开，粟裕的第一个拳头再次落在了黄百韬兵团的身上。
被包围在碾庄地区后，黄百韬因为有豫东战役中的防守经验，显得自信十足，他将李弥兵团在这里修建的工事进一步改进，构成了以地堡为骨干、交通壕相沟通的环形防御阵地，加上空军的配合，打算在这里长期坚守，中心开花。
11月11日，华野基本完成了对黄百韬兵团的包围，并迅速部署了围歼黄百韬的作战计划：
一、以5个纵队配合特纵的大炮、坦克，组成突击集团，由 华野参谋长陈士榘 统一指挥，负责围歼黄百韬。
二、以3个纵队组成正面阻援集团，由 山东兵团副司令员王建安、政委谭震林 指挥，负责阻击自徐东而来的邱清泉兵团和李弥兵团一部。
三、以华野2个纵队，外加中野11纵和鲁东南纵队，组成迂回打援集团，由 韦国清、吉洛 指挥，负责截断邱、李的退路，待黄百韬被全歼后，华野便可腾出手来将邱、李歼灭。
布置完成后，当晚陈士榘就下令部队进行了试探性的进攻。第二天，也就是11月12日，陈士榘下令华野突击集团5个纵队同时出击，采用突击战术，猛攻猛打。
由于黄百韬兵团近10万人被压缩在狭小的空间内，部队猬集一处，我军无法采取最为擅长的穿插分割、各个击破战术无法施展，一时间，我军的攻势被化解了下来。
经过3天的猛攻，黄百韬兵团依然负隅顽抗，突击集团虽然英勇作战，但进展却不如人意，而且部队的伤亡在不断扩大。
眼看黄百韬在碾庄站住了脚，徐州「剿总」刘峙大喜，特地召开记者会宣扬黄百韬如何如何神勇。
粟裕很快也从陈士榘的汇报中得知了前线的情况，为了摸清原因，他一一给几个纵队的司令员打去电话，询问他们具体情况。
时任13纵司令员的周志坚正是当年围歼黄百韬兵团的几个纵队司令员之一，他晚年在回忆录中写道，部队攻击受挫后，他心情沉重地回到了指挥所，这时候「粟老总」打来了电话：
「攻击刚开始，你们伤亡就这么大，进展也很慢，下去整顿一下再打。」
「粟老总严厉地批评了我们，我拿着电话一句话也没有说。首长的批评是对的，我从心里接受。」
粟裕甚至亲自跑到了附近的野战医院，了解调查伤员的情况，他发现，部队的实际伤亡比他们报上来的数字还要严重！
粟裕心情沉重地打通了4纵司令员陶勇的电话，问他4纵的伤亡情况，陶勇为了让首长放心，故意少报了一些，粟裕把自己到野战医院的事情告诉他后，他才不再隐瞒。
粟裕又派身边的参谋到前线调查，参谋回来告诉粟裕，大家都说黄百韬难打，一百米的阵地上摆了20多挺机枪。
粟裕彻夜难眠，他认真思考了部队攻击受挫的原因，11月14日晚，他召集参战的各纵队首长开了一个会。在会上，粟裕总结道：
首先 ，黄百韬有5个军，每个军的战斗力在国军中都属于中上，不容小觑，而我军历史上还未有过一次围歼5个军的大仗。这给我们的战术使用、兵力分配上带来了一些从未遇过的问题。
其次 ，黄百韬已经从运动转入防守，又有牢固的工事。战前，野司就强调过，要区分对运动之敌和防守之敌的打法，并让9纵采用坑道近迫作业的战术，但战事已开，各纵队动作太快，准备不充分。
再有 就是步炮协同、各纵队之间的配合问题，以及「少数松劲泄气表现」，粟裕强调，此战对全国战局影响甚大，打好了解放战争可以减少一年，中央下的最大决心是我军要准备10万人的伤亡！
最终，粟裕作了如下部署调整：
一，采用「先打弱敌，攻其首脑，乱其部署」的战法，先把进攻的重点放在敌人较弱的部队上。
二，强调进行夜战和近战，以大胆穿插瓦解对手的防守；将野战转为坑道近迫作战，利用夜色掩护挖交通壕，一直挖到敌人阵地前。
三，由于陈士榘个人统一指挥5个纵队，在操作上任务大，有难度，决定让指挥系统较为完善的王建安、谭震林统一指挥。
时任华野副参谋长的张震将军后来回忆这一往事时感慨地说道：当时，在陈士榘参谋长的指挥下，华野部队已经把黄百韬合围在了碾庄圩。
我军从追击转入攻坚，「未及时转换战术，仍是猛打猛冲」，导致初期的攻势成果不大。后来粟代司令员及时地召开了会议，调整了部署，才确保了后来战事的顺利进展。
经过调整后，华野于16日晚重新发起攻势，战至18日，44军和100军被全歼，其两位军长一俘一逃，华野进一步缩小包围圈，准备对25军和64军的下一步进攻。
碾庄战局随之立刻明朗了起来，粟裕这才舒了一口气，他放心地把最后的战斗交给了王建安、谭震林，自己则带着华野司令部去了西线，指挥阻援的7个纵队对付杜聿明集团去了。
到22日上午，华野部队攻入了黄百韬的指挥部附近，黄昏时分，杨廷宴拉着黄百韬向西突围，遭到我军追击，黄百韬举枪自杀（一说被流弹击中）。
杨廷宴坐在黄百韬尸体旁大哭，被我解放军战士发现后，杨廷宴说自己是个伙夫，死者是他哥哥，解放军战士于是帮他掩埋了黄百韬。
一直到战斗结束，我军都没有找到黄百韬的下落，之后撤出战场。而一个月后，一支国军则在逃回南京的杨廷宴的指导下摸回碾庄，找到了黄百韬的遗体，并将其运回南京安葬。蒋介石追赠其为陆军上将，并 再追赠其 青天白日勋章。
