霍士廉出生於1909年，山西忻州人，出生於一個普通的農民家庭。早年時期，霍士廉主要在家鄉求學，1930年，他以優異的成績考入了忻縣中學。也是在讀中學期間，霍士廉廣泛閱讀進步書籍，接觸到馬克思主義，並開始把馬克思主義當作畢生的信仰。
1931年，九一八事變發生後，霍士廉開始在家鄉從事抗日救亡運動，之後他考入北京宏達學院。進入北京宏達學院後，霍士廉一邊讀書，一邊參加愛國運動，成為學院的積極分子。1933年，霍士廉受組織派遣，返回了家鄉，開始在家鄉秘密宣傳中國共產黨的革命思想，暗中積蓄抗日力量。
1935年，因為叛徒出賣的原因，西安的地下組織遭遇破壞，霍士廉等人受到國民黨通緝，他也在身無分文的情況下，靠給人割麥子，歷經艱辛，到達了陜北蘇區，與組織恢復了聯系。1936年1月，霍士廉正式加入了中國共產黨。
抗日戰爭全面爆發後，霍士廉被派到山東，協助郭洪濤開辟了抗日根據地。在極端困難的條件下，霍士廉密切發動群眾，依托群眾，逐漸在魯中一帶站穩了腳跟。同時，霍士廉還帶領魯中地區的群眾開展減租減息運動，鞏固與發展了魯中地區的抗日力量，促進了抗日戰爭的勝利。
解放戰爭時期，霍士廉繼續活躍在山東半島，他組織了大批青年參軍，同時，也組織了廣大群眾支前。在解放山東半島的過程中發揮了重要的作用，比如萊蕪戰役與孟良崮戰役，霍士廉都立下了大功。
1948年，霍士廉被調到華東局，擔任了秘書處處長，在這之後，他率領南下幹部團南下，為解放浙江做好了準備。新中國成立後，霍士廉留在浙江工作，擔任了浙江省民政廳廳長、浙江省人民政府秘書長、浙江省副省長以及浙江省委副書記等職務。任職期間，霍士廉參與領導了當地的土改運動、三反五反等社會主義改造工作，鞏固了新生的政權。
1965年，霍士廉被調到陜西省，擔任了陜西省委第一書記（相當於今天的陜西省委書記）。當時陜西經過「大躍進」後，經濟恢復並不理想，霍士廉上任後，重視當地的農業生產，力所能及地為恢復經濟做工作。不過，正當霍士廉準備大幹一番時，1966年，「十年特殊時期」開始。
在那段特殊的時期，作為主持陜西省委工作的幹部，霍士廉也受到了沖擊。1967年，上海發生「一月風暴」後，造反派開始奪權。在陜西，造反派也受此影響越發活躍，開始頻繁造反奪權，1月，霍士廉也被奪權，不僅被暫停了工作，而且身心也受到迫害。不過，在總理的保護下，霍士廉被接到北京，保護起來，直到1970年才重新返回陜西。
返回陜西後，霍士廉又擔任了陜西省委書記（當時設有第一書記）等職務，致力於秩序的整頓工作。粉碎「四人幫」後，霍士廉被調到寧夏，1979年，他又出任了農業部部長。1980年，霍士廉被調到山西，擔任了山西省委第一書記（相當於今天的山西省委書記），主持山西省委的工作。
到山西後，霍士廉嚴格貫徹中央的幹部政策，解放了大批基層幹部，同時，他也致力於解放思想，在山西推廣「包產到戶」，為山西的改革開放打下了一個良好的基礎。1983年，霍士廉卸任山西省委第一書記，在這之後，他回到北京，擔任了中顧委委員等職務，於1996年因病去世，享年87歲。
