第三野戰軍於1949年5月正式展開了解放上海的戰役。
把時鐘撥回到幾十年前，上海毫無疑問地稱得上是一座大型城市，當時人口超過600萬，是商人和資本家聚集的重要場所，被譽為遠東國際金融中心。鑒於國民黨軍隊當時的處境，我軍若想奪取上海，雖然相對容易，但要使這座城市完好無失真地接收下來，難度無疑會非常大。國民黨軍隊絕不會輕易放棄，眼睜睜地看著上海落入他人之手。
上海的防守由國民黨軍上海警備司令湯恩伯負責。為了加強防禦，湯恩伯不惜重金從美國購入大量優質水泥、混凝土，意圖用來構築工事。此舉在國民黨軍內部曾引發了爭議，但湯恩伯對此置若罔聞。他決心用鋼筋水泥將上海變成一座堅不可摧的堡壘，即使我軍想要攻取，也必須付出巨大的傷亡代價。
第三野戰軍在戰前進行了周密的策劃，決定動用第9、第10兵團所屬的8個軍以及特種兵縱隊，從兩個方向對國民黨軍發動猛烈攻勢。隨後，又增加了兩個軍（即第7、8兵團各一個軍的兵力）。在戰前，我軍已針對上海國民黨軍的防禦情況制定了相應的策略，其中最關鍵的一點是在市區作戰時，禁止使用火炮等重型武器。
1949年5月12日，三野正式開始進攻，其中隸屬於第十兵團的26軍率先沖鋒。此前，大軍渡過長江作戰後，26軍一路追擊，消滅了超過一萬名國民黨軍士兵，直至抵達上海城下。戰役爆發後，26軍按照預定計劃，從昆山向西挺進，其78師主力緊緊追趕國民黨軍第182師，成功繳獲了大量軍事物資。
26軍之所以如此拼命地沖鋒，是因為這場戰鬥可以說是他們復仇的時刻。軍長張仁初表示，他們決心不屈服。在之前的淮海戰役中，26軍的前身第8縱隊幾乎沒有取得什麽戰果。盡管8縱在淮海戰役中殲敵2.6萬人，這個數位在當時已經頗為可觀，但在後來統計戰果時，8縱竟然排在最後，而4縱殲敵7萬多人，9縱更是殲敵9萬多人。
盡管僅以殲敵數量為依據，無法全面評價一支軍隊的戰鬥力，張仁初內心深處仍感到些許不滿。他渴望再取得一場輝煌的勝利，向對手展示自己的實力。
恰巧的是，當時第九兵團正從南潯、吳江、松江挺進奉賢、南匯等地，連克平湖、金山衛、奉賢、南匯以及松江、青浦等地，湯恩伯被迫下令抽調51軍增援，然而第十兵團的進展卻並不順利。特別是在向月浦、楊行、劉行守軍發起進攻時，遭遇國民黨軍構築的堅固鋼筋混凝土工事，進展異常緩慢。
由於無法動用重火力武器，第十兵團整體損失慘重，包括26軍在內的各部傷亡巨大。盡管許多士兵都反對，認為應該使用火炮等武器，畢竟資本家的洋樓不如戰士們的性命重要，但上級最終並未同意大規模使用火炮，僅允許小分隊行動，並采取火力、爆破、突擊相結合的攻堅戰術，逐個奪取碉堡。
在進攻過程中，26軍遭受了巨大的傷亡。5月24日淩晨，第10兵團司令員葉飛致電詢問張仁初關於戰況的情況，盡管部隊的進攻遇到了很大的阻礙，但張仁初依然向兵團做出保證，誓死拿下敵方陣地。在他的帶領下，26軍78師終於攻占了塘橋據點。隨著各部的英勇推進，湯恩伯意識到局勢不利，急忙收縮兵力至市區，並準備乘船逃離。
上海於27日被解放，崇明島則在5月31日獲得了解放。在這場戰鬥中，張仁初指揮的26軍共消滅敵人4.2萬人，占總殲滅敵軍數量的近三分之一，甚至超過了陶勇的23軍的戰果。此外，他們還繳獲了大量武器裝備，其中包括幾百門火炮、200多輛汽車和裝甲車。尤為重要的是，26軍的傷亡遠輕於28和29軍，張仁初本人對此感到非常滿意，他認為「26軍在淮海戰場上未能盡興，來到大上海才算真正翻身！」
