1971年九一三事件以後，周恩來抓緊時機解放和使用了一批老同誌，王震也與此同時，被調到了國務院業務組工作。
王震復出工作以後，急需要有一個秘書在身邊，而且這個秘書必須很能幹而且還很年輕，思來想去，王震把目光集中在了當時的團中央機關，中國共產主義青年團是黨培養年輕幹部的群團組織，無疑是一個選拔合適人才的地方。
團中央機關在聽到王震的請求後，向他推薦了幾十名年輕的幹部備選，王震在其中選了一圈後，選中了具有清華大學研究生學歷的伍紹祖。
毫無疑問，伍紹祖是這群年輕人中，最出類拔萃的人才之一。
伍紹祖在王震身邊工作了三年零兩個月，雖然時間不長，但對他的人生成長卻是大有裨益。
一直到1975年，張愛萍調國防科委工作後，王震親自寫了封信，將伍紹祖介紹到國防科委工作。
當然，王震之所以把伍紹祖調離身邊，並不是因為他工作不稱職，相反的是，王震認為只有到國防科委，伍紹祖才能物盡其才。
這一切還都源於一個偶然事件的發生。
一
伍紹祖記得很清楚，那時自己剛調到王震身邊當秘書，一次跟隨到聶帥家裏拜訪。
聶榮臻看著王震身邊這個陌生的年輕人，當時就好奇的問了一句：
「王震同誌，這是誰啊？」
王震高興的給聶榮臻介紹：
「他叫伍紹祖，是我的新秘書，還是個清華大學畢業的研究生呢？」
聶榮臻大感意外，忙問伍紹祖是學什麽專業的，後來才得知，伍紹祖在清華大學學的是核物理專業，是理論核物理專業的一名研究生。
一聽這句話，聶榮臻的臉一下子耷拉下來，嚴肅的對王震說：
「你怎麽找了個研究生當秘書？秘書不需要這麽高的學歷，你應當讓他歸隊。」
盡管這只是王震與聶榮臻偶然閑聊的一次，但他卻對這句話十分上心，秘書不需要高學歷，這似乎是個悖論，但以伍紹祖核物理專業研究生的身份，他無疑是能夠在科研領域做出成績的人。
聶榮臻在五十年代中期曾被中央確定為具體領導和組織新中國科技工作的負責人，1956年被任命為國務院副總理以後，又主抓了科學技術工作，最是看重人才，伍紹祖理論核物理專業研究生的身份，聶榮臻不能不在意。
伍紹祖當年參加工作，他清華大學本科尚未畢業，而他讀完本科專業以後，又考上了張禮教授名下的「高能核物理專業」的研究生，然而也就是在同一年，伍紹祖被調到了團中央機關工作，因為忙碌無暇學業，所以1965年5月，伍紹祖就在清華辦理了保留研究生學籍的手續。
能夠有這樣的經歷，也足以說明伍紹祖的能力。
當然，不能忽略的，還有伍紹祖顯赫的家世。
伍紹祖出生於湖南衡陽耒陽市，祖父伍如春原來是個私塾先生，為了學習更多知識，1913年到長沙報考了湖南省立第一師範，有意思的是，毛主席也是這年秋天考入湖南省立第一師範。
就這樣，伍如春和毛主席就成為了同學。
毛主席對伍如春的印象很深，他記得伍如春個子雖然不高，但人生的孔武有力，因此毛主席還專門給他取了外號「伍大麗仕」。
1919年，毛主席從北京回到長沙，還同在湖南一師的老同學聚會，並留下了一張合影，當時伍如春也在其中。
後來這張照片傳了三代人，一直到伍紹祖手中。
從湖南省立第一師範畢業後，伍如春就回了老家，當時他上有老下有小，自然不能跟著毛主席參加革命，一直到建國後，伍如春還為此充滿了遺憾。
可伍如春自己也沒有想到，他沒能實作的願望，他兒子幫著實作了。
伍如春的兒子、伍紹祖的父親伍雲甫生於1904年，1920年考入湖南省立第三師範，在校學習期間接受了馬克思主義的熏陶，走上了職業革命的道路，當時毛主席、何叔衡在長沙建立了共產主義小組，曾到湖南第三師範做有關社會主義的演講，伍雲甫深受影響更加堅定了參加革命的想法。
1923年夏，伍雲甫參加了中國社會主義青年團。
1926年，伍雲甫在耒陽縣立中學任教期間，轉入中國共產黨。
伍雲甫在耒陽建立了共產黨早期黨組織，1928年1月率領耒陽遊擊隊參加了湘南起義，並跟著上了井岡山。
有意思的是，伍雲甫還從來不知道，父親同毛主席還有一層同學關系。
在伍雲甫的影響下，耒陽縣不少伍姓族人都參加了革命，比較有名的就是朱老總的妻子伍若蘭，伍若蘭與伍雲甫是同族，也是在伍雲甫的介紹下，伍若蘭與朱老總喜結連理。遺憾的是，伍若蘭1929年1月在一次戰鬥中不幸受傷被捕，在獄中受盡酷刑，於2月12日被敵人殺害於贛州。
1930年春，伍雲甫受黨組織委派，赴上海學習無線電技術，後來成為中共中央和中國紅軍電台的奠基人，紅軍無線電通訊事業的創始人。
1931年，伍雲甫被重新派回中央蘇區任職，毛主席才知道他是老同學的兒子，還拍著他的肩膀高興的說：
「哈，伍如春的兒子也來參加革命了！」
建國後，伍雲甫歷任中國人民救濟總署秘書長兼黨組書記、中國紅十字會副會長兼黨組書記、衛生部副部長和黨組成員。
從上世紀30年代，伍雲甫就在黨的中央機關工作，和毛主席相處最久，但伍紹祖後來回憶時坦言，家裏一直缺少父親同毛主席的合影。
2003年，中直機關工委舉行毛主席誕辰110周年紀念，紅色攝影師侯波在浩如煙海的照片中，竟然找到了一張伍雲甫1955年同毛主席的合影，後來專門給伍紹祖送來。
這張照片，也成為伍紹祖收藏的第二張珍貴的相片。
二
2007年7月，在北京的軍事博物館舉行「延安精神永放光芒」的展覽，伍紹祖註意到，展出的照片中有一張標註錯了時間和地點。
「照片上不僅有我，還有我的父母和嶽父。」
伍紹祖笑呵呵的指著照片上說：
「那時我才6歲。」
1946年1月1日，在中央軍委所在地延安王家坪，毛主席與身邊的工作人員站在一起留下了一張合影。
伍雲甫與妻子熊天荊結識於抗戰時期，兩人都在八路軍西安辦事處工作，1939年4月，兩人的孩子伍紹祖出生，1946年1月，一家人在延安參與拍攝那張大合照，伍紹祖就站在毛主席的右前方（照片上看是左前方）。
當然，伍紹祖那時還不知道，自己未來的嶽父曾三也站在人群中。
而曾三與伍雲甫一樣，都是解放軍無線電事業的拓荒者。
而這張有伍紹祖全家的照片，後來成為伍紹祖收藏的第三張珍貴照片。
相比於父祖一輩兒的革命功業，伍紹祖求學時期的經歷，顯然就不值一提。
因為父母親早年革命經歷，他們全家聚少離多，而且因為伍紹祖本身就出生在戰爭年代，也吃了不少的苦，1947年3月，國民黨軍大舉進攻延安，當時還在延安保育員小學的伍紹祖也被迫跟著轉移，走了2000裏路到了太行，還被學校評為行軍標兵。
也因為這個緣故，伍紹祖的身體素質很出眾。
新中國成立後，伍紹祖跟著父母一起到了北京，在北京育才小學、北京101中學學習，不僅學習成績出眾，體育也很出色，身材瘦小了伍紹祖在學校舉行的100公尺賽跑中，多次奪得一等獎。
1957年8月，伍紹祖考入清華大學核物理專業，攻讀理論核物理專業。
在清華大學學習期間，伍紹祖因為積極參與學校事務，並擔任半脫產的幹部，歷任清華大學工程物理系學生會主席、分團委委員、清華大學學生會秘書長、學生會副主席等職，因此他的學習被延長了兩年時間，一直到1964年7月才本科畢業，然而也就是在當年，伍紹祖又考取了清華大學理論核物理專業研究生。
在清華讀書的8年時間，對伍紹祖的影響很大，盡管他的表現堪稱優異，但在日記中，伍紹祖卻清楚的寫明了自己當時所受到的壓力，但他並沒有氣餒：
「 我對我在清華工物系八年的緊張生活一點也不感到後悔，反而感到是一種幸運，慶幸我經歷了那麽多的事，學到了好多書本上的和非書本上的知識，受到了那麽多的磨難和考驗。 」
就在本科畢業前夕，團中央書記處書記楊海波找到伍紹祖，轉達上級指示：
「如果組織上需要，把你調到全國學聯做社會工作，你願不願意。」
伍紹祖沒有絲毫猶豫：
「我堅決服從。」
1965年1月，在全國學聯第十八屆全國代表大會上，伍紹祖當選為全國學聯主席，並在同時舉行的全國青聯代表大會上，當選為第四屆全國青聯委員。
當時，伍紹祖在人民大會堂參與了歡迎巴基史坦領導人舒凱裏的工作，舒凱裏見到他的一剎那，也不由得吃了一驚：
「你這麽年輕！」
當時伍紹祖年僅26歲。
1965年5月，團中央又做出決定，將伍紹祖調團中央機關工作，也因為無暇學業，伍紹祖後來在學校辦理了保留研究生學籍的手續。
同年年底，伍紹祖又被廣東省補選為第三屆全國人民代表大會代表。
在那個特殊的年代，伍紹祖也不可避免的受到一定程度的影響。
1966年6月，伍紹祖隨中國青年代表團出席在匈牙利召開的世界青聯代表大會，結果回來以後被告知，女友曾曉前的父親曾三被定為楊尚昆的死黨，要求他「劃清界限」，只是伍紹祖沒有選擇理會。
伍紹祖記得，自己那時也受到過不少委屈，卻始終甘之如飴，晚年在接受采訪時，老人還笑呵呵的說：
「我是革命的一塊磚，哪裏需要哪裏搬，有什麽好想不通的？無論走到哪裏，幹什麽我都覺得挺好的，受到打擊也沒有不高興。」
1969年4月，伍紹祖跟隨團中央機關到了河南省信陽地區潢川縣的黃湖農場參加勞動。
一直到三年以後，伍紹祖才被團中央機關正式抽調擔任王震的秘書。到後來，王震拜訪聶榮臻，聶帥的話，無疑給了王震一個很大的提醒。
伍紹祖在王震身邊工作了差不多有三年，三年的時間說長不長，說短不短，兩人不能說一點感情也沒有，但從人才的角度去看，伍紹祖應該去適合他的崗位發展。
1975年，張愛萍復出到國防科委工作，王震寫信給他推薦自己的秘書伍紹祖：
「他去了以後不要當大官，要從基層做起。」
1975年10月，伍紹祖正式辦理了參軍手續，不久以後就趕赴新疆馬蘭的核試驗基地，當年他的不少同學在畢業以後，都被分配到這裏，伍紹祖也是在時隔十年以後，再度回到自己的專業。
也就是在國防科技工業戰線，伍紹祖首次提出了原子能要為國家建設多做貢獻，後來被張愛萍引申為「保軍轉民」。
在國防科委工作，對伍紹祖而言，應該說是物盡其才。
從1982年以後，伍紹祖歷任 國防科工委 副主任、黨委副書記，國防科工委政治委員、黨委書記兼 紀律檢查委員會 書記。
1988年9月，伍紹祖被授予了少將軍銜。
然而僅僅3個月不到，伍紹祖便又接到了中組部部長劉澤鵬的電話，當他馬不停蹄的趕過去時，卻接到通知：
「調國家體委當主任。」
盡管伍紹祖從來沒有從事過體育工作，但在接到任命的一剎那，他還是毫不猶豫的答應。
一直到2000年4月15日，伍紹祖調任中直機關工委擔任常務副書記。
在任國家體委主任期間，伍紹祖推動了申奧工作，然而首次申奧失敗，使得所有工作人員心灰意冷，但伍紹祖卻信心百倍，後來他談到自己當時的心情時，曾毫不諱言的談：
「如果第一次申辦成功了，以當時中國的經濟實力，辦奧運會費的力氣要更大一些，而且還會影響改革開放的行程。沒申辦成功，對中國人民、尤其是青年大學生也是一次極大的教育，知道世界上還有反對勢力。」
在國防科工委工作了14年，而在國家體委又工作了11年，伍紹祖在兩個毫不相關的領域幹工作，卻幹的都很出色。
三
伍紹祖晚年退休以後，依然很忙碌，用他們老兩口的話來說，就是閑不住。
2009年12月底，伍紹祖還安排了5次外出，為此記者約了好幾次才將他堵在家門裏。
記者問他：
「為什麽退休了還這麽忙？」
伍紹祖樂呵呵的回答：
「我在黨政軍群都幹過，什麽事兒也都跟我有點關系，如今擔任了不知道多少顧問，到處有人請……，退休了五年，比上班還忙。我有一個標準，只要對人民有利的事情就做，否則就不做。我總想，活著多做一點貢獻，死了想做也做不了拉。」
也因為太忙碌，伍紹祖才決定，從2010年以後正式讓自己生活節奏慢下來。
不過，夫人曾曉前卻並不怎麽相信丈夫的話：
「我根本就不相信，只要一請，看事情不錯，他就要去，閑不住。」
在伍老在外面奔波期間，其實家裏的事兒都是夫人曾曉前在管，哪怕是後來退休了以後也一樣，曾曉前也曾自嘲：
「我是我們家家務活的主力。」
就算是伍老想幫忙，但也只能局限於一些輕便的活計，只要一復雜，總也幹不好，到時候還得讓夫人親自出馬。
有時夫妻倆人也時常為一些生活瑣事吵架，比如換衣服、換襪子、洗腳等等，到了晚年以後，因為身體狀況不佳，曾曉前也時常提醒丈夫，少吃油膩的紅燒肉，只是伍老總也管不住嘴。
不過，這些吵架並沒有影響老兩口的情感，生活中該是怎樣就怎樣，伍老每次被夫人說的急了，就站在一旁傻笑。
過去在工作中，伍老壓力其實非常大，夫人曾曉前能夠理解他的難處，所以盡量不給他在生活中添堵。
值得一提的是，伍紹祖老兩口都主張對孩子嚴格教育，伍老晚年談起兩個孩子，也很驕傲，自己當了28年正部長，兩個孩子都沒有沾一點光。
盡管伍紹祖兩口子都是國家級的幹部，但他們晚年離開工作崗位後，過得基本上是普通市民的生活，任誰也想不到他們過去輝煌的經歷，當然也更加想不到，他們的父祖一輩兒當年都曾為新中國拋頭顱灑熱血。
