查玉升出生於安徽省六安市，自幼父母雙亡，由於家中沒有田地，為了活下去，查玉升夏天給地主放牛、放鵝，冬天則以討飯為生，年紀輕輕就嘗遍了人間疾苦。
一年冬天，查玉升餓得實在不行了，就到一個親戚家裏要飯，誰知親戚竟連一口白飯都不肯給，還以白眼相待。皖西的冬天雖然寒冷，卻比不過查玉升此刻的心寒。
1931年，鄂豫皖紅軍來到查玉升所在的村子，時年17歲的查玉升聽說紅軍是一支為窮人打仗的部隊，便決定參加紅軍。
查玉升
俗話說，初生牛犢不怕虎，查玉升已經沒有什麽牽掛了，除了性命，也沒有什麽可以失去的，而他絕非惜命之人。所以一到打仗，查玉升自然表現突出，作戰勇猛。
入伍後不久，查玉升就當上了班長，隨後一步步晉升，到1934年時，已經是紅31軍交通隊指導員，跟隨部隊參加長征。
在這幾年時間裏，查玉升數次負傷，好在幾次負傷都挺了過來。歷經戰火和鮮血的洗禮與昇華，查玉升成長迅速，很快就成了一名讓敵人聞風喪膽的驍勇戰將。
1937年全面抗戰爆發後，紅軍主力改編為八路軍，紅四方面軍改編為129師，紅31軍成了八路軍129師386旅。
查玉升成了386旅772團1營營長。這天晚上，日軍趁夜偷襲386旅駐地，386旅旅長陳賡被日寇強大的火力緊緊地壓制在一處低窪地，無法突圍，情況十分緊急。
陳賡
不知是上天有意，還是巧合，查玉升扛著輕機槍帶著部隊及時趕到，看到旅長陷入險境，查玉升不要命地沖了上去。日軍看傻了，他們從未見過如此不要命之人，被查玉升這麽一沖，日軍頓時陣腳大亂。
慌亂之中，日軍露出了一個突破口，陳賡趁機率部發起反擊，成功突出重圍。
查玉升在這次戰鬥中的表現，讓陳賡看到他過人的膽識，並贏得了信任。不久，陳賡和許世友就找查玉升談話，一見面，陳賡便直入主題：「玉升，這次找你來，是有一件事情要和你商量，我們打算讓你擔任772團的副團長，不知你是否願意呢？」
查玉升一楞，隨後大喜：「當然願意！」
「好，但我有一個條件。」
「什麽條件？」查玉升追問道。
「先當幾天特務隊隊長，有兩個任務需要你完成，除漢奸和搞軍需，完成好了，我就讓你當772團的副團長，怎麽樣？」
「沒問題。」查玉升信心滿滿。
話說日軍占領祁縣、太谷一帶後，就在當地物色了一批漢奸，組織所謂的維持會。
這些漢奸為日軍抓夫催糧，探聽情報，比自己的事還上心，不僅讓當地百姓苦不堪言，也讓386旅在這一帶開展敵後抗戰的困難倍增。陳賡知道後大為惱火，他決定給這些漢奸們一個教訓。與此同時，漫長而寒冷的冬季即將來臨，部隊缺少過冬的糧食和衣物，這兩件事情必須盡早解決。
在陳賡看來，這兩件事情並不沖突，但需要有一個能力出眾者來解決，他想到了膽識過人的查玉升。見查玉升信心滿滿地答應下來，陳賡心中甚喜，他果然沒有看錯查玉升，臉上也露出笑容：「我相信你！」
似乎想到什麽，陳賡說：「祁縣周圍的漢奸眾多，特務隊人數有限，不可能一個個鏟除。既然如此，就把那些手上沾有八路軍或老百姓鮮血的大漢奸除掉，一個都不許留，要好好震懾一下這些民族敗類。」
與大漢奸相比，小漢奸數量眾多，且大多手上沒有人命，因此，陳賡就指示：「倒是可以給他們一個將功折罪的機會。」
將功折罪的機會？查玉升在心裏暗自琢磨陳賡這句話，又想到陳賡交給他的第二個任務，他明白了，這看似是兩個任務，實際上可以一起完成，而且一點都不沖突。
從旅部離開後，查玉升從部隊裏物色了一批身懷絕技的英雄好漢，組成特務隊。隨後，透過地下黨同誌，查玉升了解了祁縣及周圍地區漢奸的分布情況和具體資訊。
一番研究後，查玉升將頭號目標釘選為祁縣維持會會長。這家夥原來是祁縣有名的富商，家財萬貫，但他善於見風使舵，日本人一來，他就趕緊帶著狗皮膏藥旗到城門處迎接日軍到來，主動向日軍投降。
成為漢奸後，祁縣維持會會長到處差遣手下搶糧食、抓物資，各種壞事惡事都幹。
所以查玉升一下子就註意到他，當晚，四名八路軍特務隊偵察員悄無聲息地溜進祁縣維持會會長家中，直奔正房臥室。
這時，維持會長正在呼呼大睡，絲毫沒有察覺到危險的到來。特務隊員們眼疾手快，直接用刺刀將這個大漢奸送上西天。
待驗明正身後，特務隊員們拿出了事先準備好的條幅扔在地上，條幅上寫著：「這就是當漢奸的下場。」在床上，還有一張顯眼的字條，只見上面寫著：「八路軍查玉升留。」類似的情節也在周圍幾個縣城同時上演，譬如，東觀鎮、太谷候鎮、東陽鎮等幾個地方，維持會長都讓八路軍除掉了，而鋤奸者正是字條上的「查玉升」。
不久，四個縣城的維持會長幾乎在同一時間遇害的訊息迅速傳開，人們都知道，八路軍有一支神奇的鋤奸隊伍，要是誰敢當漢奸，早晚會被鋤奸隊除掉。更讓漢奸們膽戰心驚的是，八路軍還有一個查玉升。
根據查玉升的指示，八路軍特務隊每次行動得手後，都會在現場留下類似「八路軍查玉升」的字條。這樣一來，查玉升的威名就越傳越大，搞得大小漢奸們惶惶不可終日，深怕這神出鬼沒的查玉升找上門。
漢奸們知道查玉升神通廣大，若有誰真心為日軍賣命，肯定難逃一劫。因此，在隨後的日子裏，祁縣周圍的漢奸們再也不敢像之前一樣囂張，深怕無處不在的查玉升找他們算賬，給他們留「查玉升」的字條。
如此一來，查玉升已經完成了陳賡交代的第一個任務——除漢奸。名氣大或者罪行較大的漢奸基本都被「查玉升」除掉了，盡管這裏面大部份並非查玉升親自出手。
見鋤奸已經初見成效，查玉升覺得機會已經成熟了，他可以執行另一個任務了，也就是搞軍需。以他手上的財物，靠買肯定是不行的，但可以從偽軍那裏想辦法。
祁縣有家規模尚可的紡織廠，廠裏駐紮著幾十名日軍，廠長也已經投降日軍。
這天，廠長正要吃飯，卻發現桌子上有一張字條，限他十日內交出500匹布。
看完字條上的內容，廠長臉色大變，因為字條上的署名正是「查玉升」。人的名樹的影，這幾個月，查玉升和八路軍鋤奸隊已經徹底打出了威名，震懾著無數漢奸。
廠長擔心查玉升會報復，就以身體不適為由回家休息，可剛到家，他就發現家裏突然多了幾個身影，其中一人自詡查玉升。
一聽這名字，廠長嚇壞了，馬上就答應了他的請求，乖乖向八路軍捐贈500匹布。
查玉升如法炮製，又給祁縣上一些投敵但手上沒有沾著老百姓鮮血的漢奸送上一張字條，漢奸們「談查色變」，為了自己的性命著想，就「主動」向八路軍捐贈物資。
查玉升帶著八路軍特務隊在冀中平原活動了四個多月，不僅鏟除了一批大漢奸，還從漢奸那裏搞到了大量布匹和12萬現金。
就這樣，困擾八路軍許久的溫飽問題，暫時被查玉升解決了。不久，出色完成任務的查玉升如願以償升任772團副團長。
