張敞最初只是個地方小吏鄉有秩，後補為太守卒史，因為為官清廉，又先後補為甘泉倉長、太仆丞，深受太仆杜延年的器重。元平元年（前74年），漢昭帝駕崩，權臣霍光擁立昌邑王劉賀為帝，是為漢廢帝。劉賀在位期間，因為舉止荒唐，又威脅到霍光的權力，在位僅二十七天便被廢黜，霍光又改立戾太子劉據曾孫劉病已為帝，是為漢宣帝。張敞因為曾上書勸諫劉賀的緣故，被破格提拔為豫州刺史。
漢宣帝在位之初，朝政大權皆被霍光掌控，漢宣帝雖未直接與其發生沖突，卻也在暗中培植力量。張敞在擔任豫州刺史期間，曾多次上書言事，漢宣帝見其忠心耿耿，便又將其調回京城，任命為了太中大夫。然而，就在返回京城後不久，張敞便因剛正不阿忤逆霍光，遭到霍光的打壓。先是被派去主持節減軍需用度之事，後又被調出京城，擔任函谷關都尉。被霍光打壓的張敞反而更讓漢宣帝放心，故下令將其調任山陽太守。
山陽郡便是以前的昌邑國，劉賀被廢之後居於此處，漢宣帝將張敞調任此處，目的便是讓他監視已經被廢的劉賀。張敞經過監視劉賀的行為舉止，認為其對漢宣帝已無威脅，漢宣帝這才放心。之後，張敞又自請治理盜匪猖獗的膠東，漢宣帝遂任命他為膠東相。霍光死後，漢宣帝鏟除霍氏家族，開始親理朝政，因為當時京師長安治安很差，又因張敞治理膠東頗有成效，於是將張敞調回京城，任命為京兆尹。張敞擔任京兆尹期間，不畏強權，嚴厲打擊各種不法之事，使得京師治安迅速好轉。
太仆戴長樂本是漢宣帝早年流落民間時的至交好友，漢宣帝繼承皇位之後，便將其提拔進了朝廷，並一路提拔至太仆。五鳳二年（前56年），戴長樂因為泄露漢宣帝秘聞被人告發，這讓極為重視皇帝權威的漢宣帝大為惱怒，將其下獄問罪。戴長樂懷疑是光祿勛楊惲告發了自己，便在獄中上書彈劾楊惲，並列舉了大量楊惲誹謗朝廷和漢宣帝的言論，結果楊惲也被下獄問罪，經查證屬實後，楊惲被以大逆不道之罪處死。楊惲乃是前丞相楊敝之子，太史公司馬遷的外孫，楊惲雖然才德出眾、廉潔奉公，但卻太過恃才傲物，對於戴長樂這種憑借關系坐上高位的官員十分鄙夷，再加上他生性尖酸刻薄，喜歡揭發別人的私密。因此，戴長樂懷疑他，也並非沒有道理。
楊惲被殺後，其在朝親友也多受到株連而被罷免，張敞因為素與楊惲交好，也在大臣彈劾之列。漢宣帝出於對張敞的寵幸，有意包庇於他，對於這些彈劾全都置之不理。這時，楊敞派賊捕掾絮舜去調查一個案件，絮舜認為張敞屢遭彈劾，勢必遭到罷免，因而對於命令置之不理，私自返回了家中。有人批評絮舜不該如此，絮舜卻不以為然地說道，「我為此公盡力夠多了，他不過是個五日京兆，還想辦什麽案子？」張敞得知後，立即將絮舜抓捕入獄判處死罪。臨刑前，張敞派主簿對絮舜說，「五日京兆怎麽樣？冬日即將過去，你還想再活下去嗎？」說罷，當即將其斬首。
數日後，漢宣帝派使者巡行天下，查核冤獄，絮舜家人向使者鳴冤，張敞又因濫殺無辜遭到彈劾。漢宣帝問明原委後，認為這不算什麽大事，有意替其開脫，這才批準了此前大臣彈劾他與楊惲有株連的奏折，將其削職為民。張敞也知道這是皇帝在有意包庇自己，於是繳還印綬歸鄉閑居。張敞被罷免後僅數月，京師的治安便又混亂了起來，冀州也出現了大股盜匪。漢宣帝想起張敞治賊有方，於是派人征召張敞。張敞入京後上書說，「絮舜本是臣十分交厚的屬吏，臣曾多次寬免他的過失，他卻乘有奏章彈劾臣，臣即將免官之際，拒絕查案工作，擅離職守回家，還放言說我這個五日京兆奈何他不得，簡直背恩忘義，傷化薄俗。臣認為他放肆無禮，這才違法殺了他。臣殘殺無辜，審訊不夠正直，即使被處以死刑，亦死無恨言。」
漢宣帝於是召見張敞，重新起用他為冀州刺史。張敞到任後，僅用一年便使冀州的盜賊絕跡。之後，張敞又出任太原太守。漢宣帝駕崩後，漢元帝即位，待詔鄭朋向漢元帝推薦張敞。初元二年（前47年），漢元帝派人征召張敞，想要任命他為左馮翊，然而張敞尚未啟程，便因病去世了。
