霍士廉出生于1909年，山西忻州人，出生于一个普通的农民家庭。早年时期，霍士廉主要在家乡求学，1930年，他以优异的成绩考入了忻县中学。也是在读中学期间，霍士廉广泛阅读进步书籍，接触到马克思主义，并开始把马克思主义当作毕生的信仰。
1931年，九一八事变发生后，霍士廉开始在家乡从事抗日救亡运动，之后他考入北京宏达学院。进入北京宏达学院后，霍士廉一边读书，一边参加爱国运动，成为学院的积极分子。1933年，霍士廉受组织派遣，返回了家乡，开始在家乡秘密宣传我党的革命思想，暗中积蓄抗日力量。
1935年，因为叛徒出卖的原因，西安的地下组织遭遇破坏，霍士廉等人受到国民党通缉，他也在身无分文的情况下，靠给人割麦子，历经艰辛，到达了陕北苏区，与组织恢复了联系。1936年1月，霍士廉正式加入了我党。
抗日战争全面爆发后，霍士廉被派到山东，协助郭洪涛开辟了抗日根据地。在极端困难的条件下，霍士廉密切发动群众，依托群众，逐渐在鲁中一带站稳了脚跟。同时，霍士廉还带领鲁中地区的群众开展减租减息运动，巩固与发展了鲁中地区的抗日力量，促进了抗日战争的胜利。
解放战争时期，霍士廉继续活跃在山东半岛，他组织了大批青年参军，同时，也组织了广大群众支前。在解放山东半岛的过程中发挥了重要的作用，比如莱芜战役与孟良崮战役，霍士廉都立下了大功。
1948年，霍士廉被调到华东局，担任了秘书处处长，在这之后，他率领南下干部团南下，为解放浙江做好了准备。新中国成立后，霍士廉留在浙江工作，担任了浙江省民政厅厅长、浙江省人民政府秘书长、浙江省副省长以及浙江省委副书记等职务。任职期间，霍士廉参与领导了当地的土改运动、三反五反等社会主义改造工作，巩固了新生的政权。
1965年，霍士廉被调到陕西省，担任了陕西省委第一书记（相当于今天的陕西省委书记）。当时陕西经过「大跃进」后，经济恢复并不理想，霍士廉上任后，重视当地的农业生产，力所能及地为恢复经济做工作。不过，正当霍士廉准备大干一番时，1966年，「十年特殊时期」开始。
在那段特殊的时期，作为主持陕西省委工作的干部，霍士廉也受到了冲击。1967年，上海发生「一月风暴」后，造反派开始夺权。在陕西，造反派也受此影响越发活跃，开始频繁造反夺权，1月，霍士廉也被夺权，不仅被暂停了工作，而且身心也受到迫害。不过，在总理的保护下，霍士廉被接到北京，保护起来，直到1970年才重新返回陕西。
返回陕西后，霍士廉又担任了陕西省委书记（当时设有第一书记）等职务，致力于秩序的整顿工作。粉碎「四人帮」后，霍士廉被调到宁夏，1979年，他又出任了农业部部长。1980年，霍士廉被调到山西，担任了山西省委第一书记（相当于今天的山西省委书记），主持山西省委的工作。
到山西后，霍士廉严格贯彻中央的干部政策，解放了大批基层干部，同时，他也致力于解放思想，在山西推广「包产到户」，为山西的改革开放打下了一个良好的基础。1983年，霍士廉卸任山西省委第一书记，在这之后，他回到北京，担任了中顾委委员等职务，于1996年因病去世，享年87岁。
