台儿庄地处津浦线台枣支线和台淮公路的交叉点上，西临大运河，北接縢县，是拱卫徐州的最后一道屏障。
1. 孤军深入——矶谷廉介的如意算盘
为了保卫徐州安全，在大战之前，国军就在台儿庄构筑了坚实的防御工事，石墙连绵 3 公里，更有 70 多座碉堡扼守各处要道，星罗棋布，交叉火力强大。
日军第 2 军，1937 年 8 月 31 日组建，首任司令官为西尾寿造中将，参谋长为铃木率道，属日军华北方面军战斗序列。
刚组建没多久，该部即被派遣到华北战场作战，但却一直没有机会充分发挥作用，再加上进攻山东以来，中国军队一路不战而退，这不禁使得西尾寿造越发地焦躁和轻敌，急于寻找中国主力交战，这种情绪在全军上下普遍蔓延。
1938 年 1 月，臭名昭著的板垣师团转隶于该军，这让原本就计划对徐州用兵的西尾寿造更加傲慢，在津浦线南北的进攻受阻后，他就开始计划对台儿庄的进攻，所派出的军队就是麾下赫赫有名的精锐——第 5 师团和第 10 师团。
两军分两路向台儿庄夹击而来，分别在临沂和縢县遭到中国军队的顽强阻击，经过连日鏖战后，第 5 师团接连两次折戟于临沂，被迫放弃了对台儿庄的夹击，第 10 师团却力克縢县，一路进逼的台儿庄周边。
对于此次进攻，华北方面军的指挥部早有规定，不允许第 2 军的攻势超过临城到临沂的前线，但当第 10 师团如一支利剑一般接连突破多道中国防线后，想要收手已经做不到了。
「板垣君那个废物，枉担『铁军』之名，居然被两支杂牌军绊住手脚，简直是我第 2 军的耻辱，如果板垣君还有一丝军人的荣誉，就应当立即剖腹向陛下谢罪！」当第 10 师团的师团长矶谷廉介听到第 5 师团败于临沂时，他是这么说的。
「可是现在我们没有第 5 师团的配合，贸然前进，只怕会……」参谋长建议道。
「怕什么？李宗仁可以调动的部队都被调去临沂了，台儿庄此时根本没有多余兵力。」
「将军，孤军深入，乃兵家大忌啊！」
「支那军队，不堪一击！」矶谷廉介不屑一顾，「王铭章怎么样，够硬了吧？可还不是被我砍个精光，整个师都在縢县陪葬了？」
日军第 10 师团是一支拥有重装备的机械化部队，拥有空军协同作战的能力，该部在攻占縢县之后，又旋即攻克临城，这是日军大本营给华北方面军规定的南下禁止线。
但矶谷判断李宗仁手边可调动部队不足，唯一的机动部队已经在右翼被第 5 师团缠上了，此时后方的兵力空虚，于是他决定大胆深入，跨越禁止线，直到徐州第 5 战区司令部，此役倘能胜利，第 10 师团将与自己一起载入大日本军队的青史留名千古。
因此，3 月 17 日，日军第 10 师团在攻占縢县后，不顾其左翼第 5 师团被阻，也不等蚌埠方面的援军北进呼应，就孤注一掷地向台儿庄扑来，意欲一举而下徐州，夺取打通津浦线的头功。
到 20 日，第 10 师团的右追击部队攻占韩庄，隔着运河与中国军队对峙，左追击部队已经攻占了峄县。此时，鲁南战区的重点移动到了左翼的津浦铁路，日军面临着两个选择：
一是继续从津浦线南下，直扑徐州；二是向东南展开，夺取台儿庄，突破运河防线，继而西取徐州。经过一番权衡后，日军指挥机关选择了后者。
但日军却不知道，此时除了眼前的国军，还有一支神兵已经悄悄潜入了他们的身后，这支部队就是中共领导的新四军。
早在矶谷进军前，国民政府最高统帅部的副总参谋长、有「小诸葛」之称的白崇禧就向中共发出了「求救」，他深知中共内部有高人，于是想听听周恩来对此次会战的看法，并吩咐秘书尽快安排了会面。
当时中共对抗战的前途也是非常担忧，尤其是蒋介石的态度，在正面战场屡屡失利后，更是忧心忡忡。
中共高层认为李宗仁和白崇禧是国民党高级将领中的主战派，抗日的态度是坚决的，桂系在国民党内又颇有地位，因此做好二人的工作对巩固和发展抗日统一战线非常有必要。
所以在接到白崇禧的邀请后，中共欣然同意并派了周恩来和叶剑英前往会谈。
在会谈中，周恩来指出了在板垣师团受挫后，矶谷并不会改变计划，反而会更加乐于南犯，并陷入邀功心切、轻敌冒进的危险境地中。
接着，他建议加强运河和台儿庄一线的防御，正面遏制敌人攻势，再派奇兵渡河，从峄县方向迂回攻击，以配合正面战场的作战计划；
同时在津浦线南段，由廖磊和李品仙的两个集团军采取运动战为主、游击战为辅的联合行动阻击日军北上支援……
听完周恩来的建议，白崇禧极为赞赏，但却还有一个顾虑，李品仙和廖磊所部连日作战，损耗不小，正面阻击消耗巨大，倘若有一部奇兵在背后游击，那就省力多了，但他却一时想不出合适的人选。
这支部队贵在出奇，不能与敌人陷入纠缠和死斗，主要作用在于袭扰，使敌人疲于奔命，时时受到威胁，无法有效实施进攻计划，可目前第 5 战区的可调之兵种，却找不到这样的部队。
「我准备命令新四军张云逸的第 4 支队，协同贵部李品仙、廖磊两集团军采取联合行动，运动于辽阔的两淮流域，使津浦线南段日军时刻受到威胁，不敢贸然北上支援南下的日军。」周恩来见白崇禧有些犹豫，又补充道。
白崇禧一听甚为感动，他知道周恩来作为中共军委副主席，其命令叶挺是必须要听的，有新四军的援助，津浦线以南的威胁就不用担心了，同时也深深为对方的眼光所折服，暗自叹道：周公果然是将将之才、治军之才、谋略之才也，名不虚传！
2. 雷霆一击——31 师浴血台儿庄
3 月 24 日，蒋介石带白崇禧及其参谋团来到了徐州，聆听了李宗仁对徐州战况的汇报，他肯定了第 5 战区连日来的作战结果，并鼓励全体将士继续扩大战果，给日寇以有力打击，为武汉的准备工作争取足够时间。
次日，蒋介石即回了武汉，将白崇禧和军令部次长林蔚一同留在了徐州。
老蒋走后，李宗仁马上把白崇禧叫到了自己的办公室，研究作战计划，经过一番商讨，李宗仁与周恩来的作战计划不谋而合，很快就制定了具体的作战方案：
利用日军急于打通津浦线的骄狂心理，采取「固守台儿庄及运河一线，诱敌来犯，断敌后路，乘机实施反包围，聚歼日军」的作战计划。
令孙连仲的第 2 集团军之第 27、第 30 师，布防于运河一线及台儿庄以西；以第 31 师主力固守台儿庄，以一部于台儿庄东西两侧支援核心阵地作战；
将汤恩伯的第 20 军团部署于向城、洪山镇一线，阻击北面之敌，并相机让开正面，诱敌深入，待敌主力进入台儿庄后，再南下袭击敌人侧背。
为了帮助第 2 集团军更好地守卫主运河及台儿庄一线，白崇禧亲自赶往台儿庄，视察了该部的具体情况，并在集团军总司令孙连仲的要求下，迅速为该部配备了野炮、战防炮和坦克队。
先后在 25 日至 26 日夜间抵达了台儿庄，短短几日间，台儿庄周边已经集结了包括孙连仲的第 2 集团军、汤恩伯的第 20 军团、川军孙震的第 41 军和张自忠 59 军、庞炳勋第 40 军团在内的数十万人。
为了使会战稳操胜券，在取得蒋介石的同意后，李宗仁又令集结于武汉附近的黄杰、桂永清、俞济时、宋希濂、李汉魂各军火速向徐州增援，一时间台儿庄重兵云集，大战一触即发。
3 月 23 日凌晨，第 2 集团军第 31 师第 93 旅乜子彬部的先头部队根据作战部署，开始从台儿庄一线向峄县方向搜索前进，当骑兵连搜索至峄县以南 8 公里的乱沟附近时，突然与日军先头骑兵部队约 300 余人遭遇，打响了台儿庄会战的第一枪。
这支日军部队是由日本步兵第 63 团第 2 营及野炮兵第 10 团第 1 营组成，配有坦克、装甲车、野炮和骑兵队，共 1000 余人，除了人数以外，其部队的机动性和火力配备都超过了中国军队一个普通师的水平。
第 93 旅骑兵连百余官兵也是久经沙场的老兵，在队长王保坤和连长寇保贞的率领下，该部借助有利地形，打退了敌人一次又一次的进攻，后来日军调集大炮，对中国军队的阵地发起猛烈轰击，经过轮番轰炸，阵地终于失陷，骑兵连伤亡过半，被迫后撤。
在得到与日军交火的报告后，李宗仁当即给孙连仲下达了命令：孙总司令立即赴台儿庄指挥；驻贾汪之第 27 师星夜徒步向台儿庄附近集结。
领命后，孙连仲即率第 2 集团军司令部于 24 日凌晨 4 时抵达台儿庄运河以南 5 公里处的韩家寺，亲临调度指挥，并急令第 27 师开至台儿庄附近地区。
该部是孙连仲的嫡系部队，孙曾任该师的师长，其装备也较之其他师要好出不少，在接到命令后，师长黄樵松于凌晨 5 时即率部从贾汪附近出动，徒步赶往台儿庄，到下午 6 时已经抵达了南站附近。
日军占领獐山后，十多架飞机飞临台儿庄上空狂轰滥炸，在飞机的配合下，敌人步步紧逼，向北洛猛攻，185 团王郁彬团长率高鸿立营奋勇抵抗，且战且退，于傍晚退至南洛，日军追击到此后被伏兵所阻，趁势占领了北洛，与国军相对峙。
24 日，日军第 10 师团在飞机大炮的配合下，向台儿庄发起了猛烈的围攻，进攻到刘家湖的敌军突击台儿庄城东北，与国军守军 186 团遭遇，两军鏖战至夜晚。
1 营几乎全部牺牲在台儿庄北门，日军 200 多人突破小北门后躲进了附近的泰山庙，团长王震随即率将士轮番进攻，终将之全部消灭。
25 日，日军进攻南洛，31 师第 185 团高鸿立营奉命侧击日军阵地，在战斗中，该营将士发现了隐蔽在前方小松林中的日军炮兵阵地，迅速报告给了营长。
高鸿立见状，大喝道：「狗日的小鬼子在这逞威风，让咱撞见了，真是天助我也，一定要把那狗日的大炮夺过来！」
「夺过来，炸掉它！」听到营长这么说，士兵们都义愤填膺。
高鸿立是个膀大腰圆、性急如火的黑大汉，此时兴起，直接甩掉帽子，褪去上身的军衣和衬衫，左手握着手枪，右手举起大刀，怒目圆睁，对手下大喊道：「今天就让小鬼子见识见识，咱中国人的厉害，弟兄们怕不怕死？」
「不怕！」士兵们呼声如雷。
「好，不怕死的就脱光膀子，跟我冲上去，剁了小鬼子！」
刹那间，几百名国军将士坦露着上身，腰系手榴弹，手持大砍刀，在高营长的率领下潮水般杀向日军，砍得敌人无法招架，弃阵而逃。当时台儿庄战场上流传着一句话：活张飞大闹刘家湖。
27 日，日军荣福联队再次组织兵力向台儿庄猛攻，为配合该部，濑谷为其额外增配了重机枪、轻重装甲车、野战炮，还包括两门 150mm 榴弹炮。
日军利用自己惯用的战术，先是重炮轰击，随后派兵冲击缺口，在台儿庄北门冲出了一个口子，负责防守的第 31 师在庄内与日寇展开拉锯战。
日军不断增兵，先后从峄县调来了 4000 余人的增援部队，一次次冲入城内，但都被中国守军击退，日军先后发起了一二十次进攻，战斗陷入胶着，双方都伤亡巨大。
28 日，日军发起了更猛烈的攻势，攻入了台儿庄西北角，企图夺取西门以切断中国守军第 31 师师部与城内的联系。为使计划顺利进行，敌人组成了敢死队百余人，从城西北缺口突入，国军将士顽强抵抗，战至深夜方能堪堪抵住，负责守卫西北角的王祖献营几乎全军覆没，营长阵亡。
日军强大的火力压得 31 师抬不起头，全师数日来的连续作战导致整支部队的伤亡已经过半，城内总指挥王冠五遂在电话里向池峰城报告战况，随后池峰城接通了孙连仲的电话，请求将部队撤到运河南岸，争取一些喘息时间。
对于这种规模的厮杀和消耗，孙连仲是非常清楚的，甚至此时台儿庄内的守备部队还剩下多少都不好说，但此时如果放弃城池，则数日的浴血奋战将功亏一篑，于是他用坚定的语气说：不许撤退，绝对不许撤退，这是命令，台儿庄若失守，军法论处！
