公元前66年，霍光的妻兒以及女婿突然被捉進死牢，得知情況的皇後霍成君知道守不住秘密了，火急火燎地跑到漢宣帝面前，苦苦哀求說：「請看在父親忠於朝廷的份上，放過我霍家吧，不要殺了他們。」
此刻的漢宣帝，已經抑制不住心中的怒火，一腳踹開霍成君說：「你們霍家人人都是狼子野心，朕絕不會讓霍家好過也絕不放過每一個霍家人。」
第二天，霍光全家腰斬棄屍，追加夷滅三族，受到其牽連而滅族的有幾千家，霍成君被打入冷宮，在朝廷盤根錯節二十年的霍氏勢力就此覆滅。
霍家落到這般下場，並非霍光之過，全因為霍家一個野心勃勃的女人，她便是霍光的妻子霍顯。
盼女成為皇後，毒害許平君
公元前74年，霍光立漢武帝的曾孫劉病已為帝，即漢宣帝，此時的朝廷從昭帝時開始，霍家子弟和女婿的霍氏集團就已經身居要職，連外孫也在朝裏擔任要職。
當時，霍光小女兒霍成君尚未嫁人，希望漢宣帝娶其為皇後。他沒有向漢宣帝明說，群臣知道霍光想什麽，就聯名請求漢宣帝娶霍成君立為皇後。
漢宣帝心中的皇後是發妻許平君，他明白自己的處境不想步塵劉賀的遭遇，又不敢直接跟霍光唱反調，下了一道莫名其妙的詔書說: 「我貧賤之時，非常喜歡一把古劍，我很想念它，希望群臣想個辦法幫我找回來。」
這下大臣明白了漢宣帝的心思，改為請立許平君為皇後，事已至此霍光也沒有反對，於是許平君被立為皇後，霍成君為婕妤。
按照規矩，要從皇後的父親兄弟之中選一個封侯，許平君沒有兄弟就封其父許廣漢。 霍光表示反對，說許廣漢是一個受過宮刑的人不宜封侯，漢宣帝只得作罷。
女兒沒有立為皇後，霍光的夫人霍顯就不服氣了，認為漢宣帝是霍光立的，應該由女兒擔任皇後而不是出身低賤的許平君。
希望女兒能成為後宮之主，心有不甘的霍顯又想不出辦法，直到許平君第二次懷孕。為許平君看病的禦醫淳於衍，她丈夫只是宮裏的警衛，想請求霍顯利用霍光大將軍的身份把丈夫調去做鹽官。
霍顯見機會來了，對淳於衍說 ：「女人生孩子是件大事，九死一生，現在皇後即將分娩了，可以借此機會除掉她，小女成君也就能做皇後了。你要是願意出力能辦成這件事，我願意與你共享富貴。」
淳於衍真去做了，神不知鬼不覺害死了許平君，霍顯害怕事情敗露，就把害死許平君的陰謀告訴了霍光。
霍光選擇了隱瞞許平君的死因，向漢宣帝說皇後死於身弱，不要治太醫的罪，漢宣帝沒有多想信了霍光，放了淳於衍和被捉的太醫。 霍顯也如願以償讓霍成君當成了皇後，但她並不滿足。
違背霍光心願，教女毒害太子
自從霍成君當上了皇後，一直受到漢宣帝的獨寵，偏偏肚子不爭氣，獨寵數年也沒為漢宣帝生個一兒半女，漢宣帝仍然沒有減輕對她的寵愛。
公元前68年，霍光去世，生前就規劃好了墓地，霍顯仗著女兒是皇後和外孫女是太皇太後 （上官太後）， 居然擴大霍光的墓，抓平民奴婢為霍光守墓，和幾個女兒不信日夜地進出上官太後的長信宮。
霍光死後一年，漢宣帝不但封許廣漢為侯，還立了許平君生的劉奭為太子，霍顯氣得吃不下飯，甚至吐了血說： 「我的女兒如今是皇後，日後生了兒子只能當個王嗎？劉奭只是一個平民生的，他怎麽能被立為太子呢？」
霍顯又生一計，教霍成君害死劉奭，他一死日後就無人能爭太子的位置了，霍成君照著母親的去做，數次賞給食物給劉奭趁機下毒，因劉奭的保姆為保護劉奭的安全，總是先驗菜試毒，所以沒有機會下手。
秘謀造反，事敗滅族
霍光死時，漢宣帝給足了霍家面子，親自和太皇太後到場治喪，把霍光和蕭何相比，允許只有皇帝級別的規格和禮儀安葬他，連送葬禮儀也用皇帝的規格並在霍光墳上建祠堂，設官員專門守護。
當得知許平君可能是被人害死的，漢宣帝一步一步削弱了霍光兒子和女婿以及霍氏的勢力，先是收回其子霍禹的的右將軍兵權，給他擔任大司馬，不給印章。
接著又把霍光三個婿和孫女婿的兵權，全部收回改擔任太守，或者沒有兵權的職位，把兵權和宿衛禁軍的兵權全由許、史兩家的子弟擔任， 史家乃漢宣帝祖母的娘家。
霍顯看到這種情況，忐忑不安的把謀害許平君和劉奭告訴了霍禹，霍顯霍禹擔心會受到漢宣帝的懲處，便與被奪兵權的霍家子弟和女婿密謀殺了許廣漢，廢了漢宣帝立霍禹。
還沒等霍顯實行，漢宣帝收到了告發他們謀反的計劃，得知了霍顯毒害許平君和太子劉奭一事。
漢宣帝下令滅霍光三族，霍光一家腰斬棄市，唯獨女婿金賞（ 休屠王金日磾兒子 ）交出妻子得到幸免，受霍家牽連而被定罪滅族的高達兩千家，霍成君被廢後自殺。
雖然漢宣帝將霍光一家滿門抄斬，但沒有摧他墳毀其墓，反而一直尊奉祭祀，也不是他害死了霍家，是妻子霍顯的野心導致家族被滅……
參考資料：漢書、資治通鑒
