台兒莊地處津浦線台棗支線和台淮公路的交叉點上，西臨大運河，北接縢縣，是拱衛徐州的最後一道屏障。
1. 孤軍深入——磯谷廉介的如意算盤
為了保衛徐州安全，在大戰之前，國軍就在台兒莊構築了堅實的防禦工事，石墻連綿 3 公裏，更有 70 多座碉堡扼守各處要道，星羅棋布，交叉火力強大。
日軍第 2 軍，1937 年 8 月 31 日組建，首任司令官為西尾壽造中將，參謀長為鈴木率道，屬日軍華北方面軍戰鬥序列。
剛組建沒多久，該部即被派遣到華北戰場作戰，但卻一直沒有機會充分發揮作用，再加上進攻山東以來，中國軍隊一路不戰而退，這不禁使得西尾壽造越發地焦躁和輕敵，急於尋找中國主力交戰，這種情緒在全軍上下普遍蔓延。
1938 年 1 月，臭名昭著的板垣師團轉隸於該軍，這讓原本就計劃對徐州用兵的西尾壽造更加傲慢，在津浦線南北的進攻受阻後，他就開始計劃對台兒莊的進攻，所派出的軍隊就是麾下赫赫有名的精銳——第 5 師團和第 10 師團。
兩軍分兩路向台兒莊夾擊而來，分別在臨沂和縢縣遭到中國軍隊的頑強阻擊，經過連日鏖戰後，第 5 師團接連兩次折戟於臨沂，被迫放棄了對台兒莊的夾擊，第 10 師團卻力克縢縣，一路進逼的台兒莊周邊。
對於此次進攻，華北方面軍的指揮部早有規定，不允許第 2 軍的攻勢超過臨城到臨沂的前線，但當第 10 師團如一支利劍一般接連突破多道中國防線後，想要收手已經做不到了。
「板垣君那個廢物，枉擔『鐵軍』之名，居然被兩支雜牌軍絆住手腳，簡直是我第 2 軍的恥辱，如果板垣君還有一絲軍人的榮譽，就應當立即剖腹向陛下謝罪！」當第 10 師團的師團長磯谷廉介聽到第 5 師團敗於臨沂時，他是這麽說的。
「可是現在我們沒有第 5 師團的配合，貿然前進，只怕會……」參謀長建議道。
「怕什麽？李宗仁可以調動的部隊都被調去臨沂了，台兒莊此時根本沒有多余兵力。」
「將軍，孤軍深入，乃兵家大忌啊！」
「支那軍隊，不堪一擊！」磯谷廉介不屑一顧，「王銘章怎麽樣，夠硬了吧？可還不是被我砍個精光，整個師都在縢縣陪葬了？」
日軍第 10 師團是一支擁有重裝備的機械化部隊，擁有空軍協同作戰的能力，該部在攻占縢縣之後，又旋即攻克臨城，這是日軍大本營給華北方面軍規定的南下禁止線。
但磯谷判斷李宗仁手邊可調動部隊不足，唯一的機動部隊已經在右翼被第 5 師團纏上了，此時後方的兵力空虛，於是他決定大膽深入，跨越禁止線，直到徐州第 5 戰區司令部，此役倘能勝利，第 10 師團將與自己一起載入大日本軍隊的青史留名千古。
因此，3 月 17 日，日軍第 10 師團在攻占縢縣後，不顧其左翼第 5 師團被阻，也不等蚌埠方面的援軍北進呼應，就孤註一擲地向台兒莊撲來，意欲一舉而下徐州，奪取打通津浦線的頭功。
到 20 日，第 10 師團的右追擊部隊攻占韓莊，隔著運河與中國軍隊對峙，左追擊部隊已經攻占了嶧縣。此時，魯南戰區的重點移動到了左翼的津浦鐵路，日軍面臨著兩個選擇：
一是繼續從津浦線南下，直撲徐州；二是向東南展開，奪取台兒莊，突破運河防線，繼而西取徐州。經過一番權衡後，日軍指揮機關選擇了後者。
但日軍卻不知道，此時除了眼前的國軍，還有一支神兵已經悄悄潛入了他們的身後，這支部隊就是中共領導的新四軍。
早在磯谷進軍前，國民政府最高統帥部的副總參謀長、有「小諸葛」之稱的白崇禧就向中共發出了「求救」，他深知中共內部有高人，於是想聽聽周恩來對此次會戰的看法，並吩咐秘書盡快安排了會面。
當時中共對抗戰的前途也是非常擔憂，尤其是蔣介石的態度，在正面戰場屢屢失利後，更是憂心忡忡。
中共高層認為李宗仁和白崇禧是國民黨高級將領中的主戰派，抗日的態度是堅決的，桂系在國民黨內又頗有地位，因此做好二人的工作對鞏固和發展抗日統一戰線非常有必要。
所以在接到白崇禧的邀請後，中共欣然同意並派了周恩來和葉劍英前往會談。
在會談中，周恩來指出了在板垣師團受挫後，磯谷並不會改變計劃，反而會更加樂於南犯，並陷入邀功心切、輕敵冒進的危險境地中。
接著，他建議加強運河和台兒莊一線的防禦，正面遏制敵人攻勢，再派奇兵渡河，從嶧縣方向迂回攻擊，以配合正面戰場的作戰計劃；
同時在津浦線南段，由廖磊和李品仙的兩個集團軍采取運動戰為主、遊擊戰為輔的聯合行動阻擊日軍北上支援……
聽完周恩來的建議，白崇禧極為贊賞，但卻還有一個顧慮，李品仙和廖磊所部連日作戰，損耗不小，正面阻擊消耗巨大，倘若有一部奇兵在背後遊擊，那就省力多了，但他卻一時想不出合適的人選。
這支部隊貴在出奇，不能與敵人陷入纏結和死鬥，主要作用在於襲擾，使敵人疲於奔命，時時受到威脅，無法有效實施進攻計劃，可目前第 5 戰區的可調之兵種，卻找不到這樣的部隊。
「我準備命令新四軍張雲逸的第 4 支隊，協同貴部李品仙、廖磊兩集團軍采取聯合行動，運動於遼闊的兩淮流域，使津浦線南段日軍時刻受到威脅，不敢貿然北上支援南下的日軍。」周恩來見白崇禧有些猶豫，又補充道。
白崇禧一聽甚為感動，他知道周恩來作為中共軍委副主席，其命令葉挺是必須要聽的，有新四軍的援助，津浦線以南的威脅就不用擔心了，同時也深深為對方的眼光所折服，暗自嘆道：周公果然是將將之才、治軍之才、謀略之才也，名不虛傳！
2. 雷霆一擊——31 師浴血台兒莊
3 月 24 日，蔣介石帶白崇禧及其參謀團來到了徐州，聆聽了李宗仁對徐州戰況的匯報，他肯定了第 5 戰區連日來的作戰結果，並鼓勵全體將士繼續擴大戰果，給日寇以有力打擊，為武漢的準備工作爭取足夠時間。
次日，蔣介石即回了武漢，將白崇禧和軍令部次長林蔚一同留在了徐州。
老蔣走後，李宗仁馬上把白崇禧叫到了自己的辦公室，研究作戰計劃，經過一番商討，李宗仁與周恩來的作戰計劃不謀而合，很快就制定了具體的作戰方案：
利用日軍急於打通津浦線的驕狂心理，采取「固守台兒莊及運河一線，誘敵來犯，斷敵後路，乘機實施反包圍，聚殲日軍」的作戰計劃。
令孫連仲的第 2 集團軍之第 27、第 30 師，布防於運河一線及台兒莊以西；以第 31 師主力固守台兒莊，以一部於台兒莊東西兩側支援核心陣地作戰；
將湯恩伯的第 20 軍團部署於向城、洪山鎮一線，阻擊北面之敵，並相機讓開正面，誘敵深入，待敵主力進入台兒莊後，再南下襲擊敵人側背。
為了幫助第 2 集團軍更好地守衛主運河及台兒莊一線，白崇禧親自趕往台兒莊，視察了該部的具體情況，並在集團軍總司令孫連仲的要求下，迅速為該部配備了野炮、戰防炮和坦克隊。
先後在 25 日至 26 日夜間抵達了台兒莊，短短幾日間，台兒莊周邊已經集結了包括孫連仲的第 2 集團軍、湯恩伯的第 20 軍團、川軍孫震的第 41 軍和張自忠 59 軍、龐炳勛第 40 軍團在內的數十萬人。
為了使會戰穩操勝券，在取得蔣介石的同意後，李宗仁又令集結於武漢附近的黃傑、桂永清、俞濟時、宋希濂、李漢魂各軍火速向徐州增援，一時間台兒莊重兵雲集，大戰一觸即發。
3 月 23 日淩晨，第 2 集團軍第 31 師第 93 旅乜子彬部的先頭部隊根據作戰部署，開始從台兒莊一線向嶧縣方向搜尋前進，當騎兵連搜尋至嶧縣以南 8 公裏的亂溝附近時，突然與日軍先頭騎兵部隊約 300 余人遭遇，打響了台兒莊會戰的第一槍。
這支日軍部隊是由日本步兵第 63 團第 2 營及野炮兵第 10 團第 1 營組成，配有坦克、裝甲車、野炮和騎兵隊，共 1000 余人，除了人數以外，其部隊的機動性和火力配備都超過了中國軍隊一個普通師的水平。
第 93 旅騎兵連百余官兵也是久經沙場的老兵，在隊長王保坤和連長寇保貞的率領下，該部借助有利地形，打退了敵人一次又一次的進攻，後來日軍調集大炮，對中國軍隊的陣地發起猛烈轟擊，經過輪番轟炸，陣地終於失陷，騎兵連傷亡過半，被迫後撤。
在得到與日軍交火的報告後，李宗仁當即給孫連仲下達了命令：孫總司令立即赴台兒莊指揮；駐賈汪之第 27 師星夜徒步向台兒莊附近集結。
領命後，孫連仲即率第 2 集團軍司令部於 24 日淩晨 4 時抵達台兒莊運河以南 5 公裏處的韓家寺，親臨排程指揮，並急令第 27 師開至台兒莊附近地區。
該部是孫連仲的嫡系部隊，孫曾任該師的師長，其裝備也較之其他師要好出不少，在接到命令後，師長黃樵松於淩晨 5 時即率部從賈汪附近出動，徒步趕往台兒莊，到下午 6 時已經抵達了南站附近。
日軍占領獐山後，十多架飛機飛臨台兒莊上空狂轟濫炸，在飛機的配合下，敵人步步緊逼，向北洛猛攻，185 團王郁彬團長率高鴻立營奮勇抵抗，且戰且退，於傍晚退至南洛，日軍追擊到此後被伏兵所阻，趁勢占領了北洛，與國軍相對峙。
24 日，日軍第 10 師團在飛機大炮的配合下，向台兒莊發起了猛烈的圍攻，進攻到劉家湖的敵軍突擊台兒莊城東北，與國軍守軍 186 團遭遇，兩軍鏖戰至夜晚。
1 營幾乎全部犧牲在台兒莊北門，日軍 200 多人突破小北門後躲進了附近的泰山廟，團長王震隨即率將士輪番進攻，終將之全部消滅。
25 日，日軍進攻南洛，31 師第 185 團高鴻立營奉命側擊日軍陣地，在戰鬥中，該營將士發現了隱蔽在前方小松林中的日軍炮兵陣地，迅速報告給了營長。
高鴻立見狀，大喝道：「狗日的小鬼子在這逞威風，讓咱撞見了，真是天助我也，一定要把那狗日的大炮奪過來！」
「奪過來，炸掉它！」聽到營長這麽說，士兵們都義憤填膺。
高鴻立是個膀大腰圓、性急如火的黑大漢，此時興起，直接甩掉帽子，褪去上身的軍衣和襯衫，左手握著手槍，右手舉起大刀，怒目圓睜，對手下大喊道：「今天就讓小鬼子見識見識，咱中國人的厲害，弟兄們怕不怕死？」
「不怕！」士兵們呼聲如雷。
「好，不怕死的就脫光膀子，跟我沖上去，剁了小鬼子！」
剎那間，幾百名國軍將士坦露著上身，腰系手榴彈，手持大砍刀，在高營長的率領下潮水般殺向日軍，砍得敵人無法招架，棄陣而逃。當時台兒莊戰場上流傳著一句話：活張飛大鬧劉家湖。
27 日，日軍榮福聯隊再次組織兵力向台兒莊猛攻，為配合該部，瀨谷為其額外增配了重機槍、輕重裝甲車、野戰炮，還包括兩門 150mm 榴彈炮。
日軍利用自己慣用的戰術，先是重炮轟擊，隨後派兵沖擊缺口，在台兒莊北門沖出了一個口子，負責防守的第 31 師在莊內與日寇展開拉鋸戰。
日軍不斷增兵，先後從嶧縣調來了 4000 余人的增援部隊，一次次沖入城內，但都被中國守軍擊退，日軍先後發起了一二十次進攻，戰鬥陷入膠著，雙方都傷亡巨大。
28 日，日軍發起了更猛烈的攻勢，攻入了台兒莊西北角，企圖奪取西門以切斷中國守軍第 31 師師部與城內的聯系。為使計劃順利進行，敵人組成了敢死隊百余人，從城西北缺口突入，國軍將士頑強抵抗，戰至深夜方能堪堪抵住，負責守衛西北角的王祖獻營幾乎全軍覆沒，營長陣亡。
日軍強大的火力壓得 31 師擡不起頭，全師數日來的連續作戰導致整支部隊的傷亡已經過半，城內總指揮王冠五遂在電話裏向池峰城報告戰況，隨後池峰城接通了孫連仲的電話，請求將部隊撤到運河南岸，爭取一些喘息時間。
對於這種規模的廝殺和消耗，孫連仲是非常清楚的，甚至此時台兒莊內的守備部隊還剩下多少都不好說，但此時如果放棄城池，則數日的浴血奮戰將功虧一簣，於是他用堅定的語氣說：不許撤退，絕對不許撤退，這是命令，台兒莊若失守，軍法論處！
