劉建章出生於1910年，河北省景縣人，早年時期，劉建章主要在家鄉讀書，1920年，他又前往北平，繼續求學。也是在北平讀書期間，劉建章接觸到馬克思主義，並對馬克思主義產生了濃厚的興趣。1926年，16歲的劉建章加入了共青團，也是這一年，劉建章轉為正式黨員。
當時恰好是轟轟烈烈的大革命時期，入黨之後的劉建章也活躍在北平一帶，奉命宣傳中國共產黨的革命思想，為中國共產黨早期的發展壯大做了大量宣傳工作。大革命失敗後，劉建章的工作轉入地下，他也前往東北繼續宣傳中國共產黨的革命思想，暗中積蓄革命力量。
1937年，抗日戰爭全面爆發後，劉建章回到家鄉，加入了抗日遊擊隊，活躍在冀南一帶。在極端復雜的環境下，劉建章堅決貫徹中國共產黨既獨立自主又聯合抗日的統一戰線政策，為鞏固抗日民族統一戰線做出了積極的貢獻。同時，劉建章還與敵人進行了堅決的鬥爭，他參與領導了根據地的建設以及基層組織的恢復，促進了抗日戰爭的勝利。
解放戰爭時期，劉建章主要活躍在冀南一帶，他密切聯系當地群眾，參與領導了土地改革、支援前線以及交通秩序的恢復等重要工作。尤其是淮海戰役與平津戰役期間，劉建章帶領鐵路大軍搶先貫通了津浦北段、石德、石太、平綏等鐵路路段，使得大軍以及後勤物資順利集結，為解放戰爭的勝利做出了重要的貢獻。
新中國成立後，劉建章先後擔任了鄭州鐵路總署局長以及鐵道部運輸局局長等職務，為新中國的鐵路建設與運輸事業做了大量卓有成效的工作。眾所周知，在抗美援朝期間，我軍有一條打不垮、炸不爛的鋼鐵運輸線，正是這條鋼鐵運輸線的存在，才使得後勤物資源源不斷地供給到誌願軍手裏。
劉建章在擔任鄭州鐵路總署局長期間，領導搶修了這條鋼鐵運輸線，為抗美援朝的勝利做出了不可磨滅的貢獻。1954年，劉建章升任鐵道部副部長，在這之後，他繼續致力於新中國的鐵路建設事業與運輸事業，尤其是在西南地區的鐵路建設中，劉建章發揮了巨大的作用。
1966年，「十年特殊時期」開始後，劉建章也受到了沖擊，並被「打倒」。1968年，劉建章被關入秦城監獄，受到造反派的無情迫害。在那段特殊的時期，劉建章一直被關押了四年時間，1972年，劉建章的妻子給主席寫信，反映了劉建章的情況。
在主席與總理的關懷下，劉建章得以被送到醫院治病，一邊休養身體，一邊等待分配工作。1975年8月，劉建章參與指揮了京廣線的搶修工作，一年後，他又指揮了京山鐵路的搶修工作，保障了震後的救援工作順利開展。
1981年，劉建章接替了郭維城的職務，擔任鐵道部部長，同時，劉建章也成為鐵道部的第六任部長。一年後，劉建章響應號召，主動結束領導崗位，擔任了鐵道部顧問，繼續以老幹部的身份，關心中國的鐵路事業發展，並積極建言獻策。
晚年的劉建章熱衷於體育運動，1995年，他還被評為「全國最佳健康老人」。值得一提的是，因為常年鍛煉身體，劉建章非常壯實，九十多歲還能舞動大刀。2008年，劉建章在北京因病去世，享年98歲。
