查玉升出生于安徽省六安市，自幼父母双亡，由于家中没有田地，为了活下去，查玉升夏天给地主放牛、放鹅，冬天则以讨饭为生，年纪轻轻就尝遍了人间疾苦。
一年冬天，查玉升饿得实在不行了，就到一个亲戚家里要饭，谁知亲戚竟连一口白饭都不肯给，还以白眼相待。皖西的冬天虽然寒冷，却比不过查玉升此刻的心寒。
1931年，鄂豫皖红军来到查玉升所在的村子，时年17岁的查玉升听说红军是一支为穷人打仗的部队，便决定参加红军。
查玉升
俗话说，初生牛犊不怕虎，查玉升已经没有什么牵挂了，除了性命，也没有什么可以失去的，而他绝非惜命之人。所以一到打仗，查玉升自然表现突出，作战勇猛。
入伍后不久，查玉升就当上了班长，随后一步步晋升，到1934年时，已经是红31军交通队指导员，跟随部队参加长征。
在这几年时间里，查玉升数次负伤，好在几次负伤都挺了过来。历经战火和鲜血的洗礼与升华，查玉升成长迅速，很快就成了一名让敌人闻风丧胆的骁勇战将。
1937年全面抗战爆发后，红军主力改编为八路军，红四方面军改编为129师，红31军成了八路军129师386旅。
查玉升成了386旅772团1营营长。这天晚上，日军趁夜偷袭386旅驻地，386旅旅长陈赓被日寇强大的火力紧紧地压制在一处低洼地，无法突围，情况十分紧急。
陈赓
不知是上天有意，还是巧合，查玉升扛着轻机枪带着部队及时赶到，看到旅长陷入险境，查玉升不要命地冲了上去。日军看傻了，他们从未见过如此不要命之人，被查玉升这么一冲，日军顿时阵脚大乱。
慌乱之中，日军露出了一个突破口，陈赓趁机率部发起反击，成功突出重围。
查玉升在这次战斗中的表现，让陈赓看到他过人的胆识，并赢得了信任。不久，陈赓和许世友就找查玉升谈话，一见面，陈赓便直入主题：「玉升，这次找你来，是有一件事情要和你商量，我们打算让你担任772团的副团长，不知你是否愿意呢？」
查玉升一愣，随后大喜：「当然愿意！」
「好，但我有一个条件。」
「什么条件？」查玉升追问道。
「先当几天特务队队长，有两个任务需要你完成，除汉奸和搞军需，完成好了，我就让你当772团的副团长，怎么样？」
「没问题。」查玉升信心满满。
话说日军占领祁县、太谷一带后，就在当地物色了一批汉奸，组织所谓的维持会。
这些汉奸为日军抓夫催粮，探听情报，比自己的事还上心，不仅让当地百姓苦不堪言，也让386旅在这一带开展敌后抗战的困难倍增。陈赓知道后大为恼火，他决定给这些汉奸们一个教训。与此同时，漫长而寒冷的冬季即将来临，部队缺少过冬的粮食和衣物，这两件事情必须尽早解决。
在陈赓看来，这两件事情并不冲突，但需要有一个能力出众者来解决，他想到了胆识过人的查玉升。见查玉升信心满满地答应下来，陈赓心中甚喜，他果然没有看错查玉升，脸上也露出笑容：「我相信你！」
似乎想到什么，陈赓说：「祁县周围的汉奸众多，特务队人数有限，不可能一个个铲除。既然如此，就把那些手上沾有八路军或老百姓鲜血的大汉奸除掉，一个都不许留，要好好震慑一下这些民族败类。」
与大汉奸相比，小汉奸数量众多，且大多手上没有人命，因此，陈赓就指示：「倒是可以给他们一个将功折罪的机会。」
将功折罪的机会？查玉升在心里暗自琢磨陈赓这句话，又想到陈赓交给他的第二个任务，他明白了，这看似是两个任务，实际上可以一起完成，而且一点都不冲突。
从旅部离开后，查玉升从部队里物色了一批身怀绝技的英雄好汉，组成特务队。随后，通过地下党同志，查玉升了解了祁县及周围地区汉奸的分布情况和具体信息。
一番研究后，查玉升将头号目标锁定为祁县维持会会长。这家伙原来是祁县有名的富商，家财万贯，但他善于见风使舵，日本人一来，他就赶紧带着狗皮膏药旗到城门处迎接日军到来，主动向日军投降。
成为汉奸后，祁县维持会会长到处差遣手下抢粮食、抓物资，各种坏事恶事都干。
所以查玉升一下子就注意到他，当晚，四名八路军特务队侦察员悄无声息地溜进祁县维持会会长家中，直奔正房卧室。
这时，维持会长正在呼呼大睡，丝毫没有察觉到危险的到来。特务队员们眼疾手快，直接用刺刀将这个大汉奸送上西天。
待验明正身后，特务队员们拿出了事先准备好的条幅扔在地上，条幅上写着：「这就是当汉奸的下场。」在床上，还有一张显眼的字条，只见上面写着：「八路军查玉升留。」类似的情节也在周围几个县城同时上演，譬如，东观镇、太谷候镇、东阳镇等几个地方，维持会长都让八路军除掉了，而锄奸者正是字条上的「查玉升」。
不久，四个县城的维持会长几乎在同一时间遇害的消息迅速传开，人们都知道，八路军有一支神奇的锄奸队伍，要是谁敢当汉奸，早晚会被锄奸队除掉。更让汉奸们胆战心惊的是，八路军还有一个查玉升。
根据查玉升的指示，八路军特务队每次行动得手后，都会在现场留下类似「八路军查玉升」的字条。这样一来，查玉升的威名就越传越大，搞得大小汉奸们惶惶不可终日，深怕这神出鬼没的查玉升找上门。
汉奸们知道查玉升神通广大，若有谁真心为日军卖命，肯定难逃一劫。因此，在随后的日子里，祁县周围的汉奸们再也不敢像之前一样嚣张，深怕无处不在的查玉升找他们算账，给他们留「查玉升」的字条。
如此一来，查玉升已经完成了陈赓交代的第一个任务——除汉奸。名气大或者罪行较大的汉奸基本都被「查玉升」除掉了，尽管这里面大部分并非查玉升亲自出手。
见锄奸已经初见成效，查玉升觉得机会已经成熟了，他可以执行另一个任务了，也就是搞军需。以他手上的财物，靠买肯定是不行的，但可以从伪军那里想办法。
祁县有家规模尚可的纺织厂，厂里驻扎着几十名日军，厂长也已经投降日军。
这天，厂长正要吃饭，却发现桌子上有一张字条，限他十日内交出500匹布。
看完字条上的内容，厂长脸色大变，因为字条上的署名正是「查玉升」。人的名树的影，这几个月，查玉升和八路军锄奸队已经彻底打出了威名，震慑着无数汉奸。
厂长担心查玉升会报复，就以身体不适为由回家休息，可刚到家，他就发现家里突然多了几个身影，其中一人自诩查玉升。
一听这名字，厂长吓坏了，马上就答应了他的请求，乖乖向八路军捐赠500匹布。
查玉升如法炮制，又给祁县上一些投敌但手上没有沾着老百姓鲜血的汉奸送上一张字条，汉奸们「谈查色变」，为了自己的性命着想，就「主动」向八路军捐赠物资。
查玉升带着八路军特务队在冀中平原活动了四个多月，不仅铲除了一批大汉奸，还从汉奸那里搞到了大量布匹和12万现金。
就这样，困扰八路军许久的温饱问题，暂时被查玉升解决了。不久，出色完成任务的查玉升如愿以偿升任772团副团长。
此后，查玉升也是越战越勇，参加百团大战，血战关家垴，还在一次攻坚战中用炮在百米外就直射城门，就连八路军129师师长刘伯承都称赞查玉升是天生的战将。
