1937年，隨著國際國內形勢的復雜多變，史太林將1934年開始的肅反運動(大清洗)推向了高潮。軍隊是大清洗的重災區， 在紅軍指揮人員和政工人員中有4萬余人被清洗，其中1.5萬人被槍決。1935年授銜中5名元帥中的3人、4名一級集團軍級將領中的3人（沙保殊尼科夫幸存並晉升為元帥）、12名二級集團軍級將領的全部、67名軍長中的60人、199名師長中的136人、397名旅長中的221人都被槍決。
肅反中槍決罪犯
羅科索夫斯基在這場災難中也未能幸免，1937年8月，因為他的波蘭血統，有人指控他與波蘭和日本的諜報機關有瓜葛，內務部人員隨即對他進行了調查，並以疏忽軍團供給的理由逮捕了他，將他關入內務部監獄。在監獄裏他遭受了許多非人的待遇，牙齒被打掉，肋骨被打斷幾根。某天他和其他兩人一起被帶上刑場，兩聲槍響後，前兩人倒地不起，羅科索夫斯基已經在等待最後時刻的到來了，結果最後一發射出來的是空包彈，他只是當了一回陪斬。類似的事發生了兩回，如果不是他的老上級鐵木辛哥的暗中維護，羅科索夫斯基早就成為大清洗的冤魂之一了。
隨著1939年9月第二次世界大戰的爆發，戰爭的陰雲籠罩在蘇聯的頭上。年底爆發的蘇芬戰爭把大清洗的惡果表現的淋漓盡至，軍隊的戰鬥力下降的不是一點半點，最後是依靠巨大的體量，蘇聯才以巨大的犧牲慘勝了芬蘭這蕞爾小國。鐵木辛哥以此為契機，向史太林進言，以大戰在即、軍隊缺乏指揮人才為由要求釋放羅科索夫斯基，史太林接受了鐵木辛哥的建議，將關押了兩年半的羅科索夫斯基釋放。
羅科索夫斯基和妻子女兒
羅科索夫斯基在自己的回憶錄裏提到過這段時間：「1940年春，我攜家眷前往索契，之後應邀前往國防人民委員鐵木辛哥處，受到了他熱情的接待。…………鐵木辛哥建議我再度出任騎兵第5軍的軍長。」在正式上任第5騎兵軍前，羅科索夫斯基還受當時基輔特別軍區司令的委派去參與占領羅馬尼亞的披薩拉比亞地區的行動，這個地區後來成為蘇聯的加盟共和國摩爾多瓦。
1940年5月，蘇聯軍銜制度調整，羅科索夫斯基被授予少將軍銜。兩年半的牢獄之災讓他原地踏步了，35的師級軍銜，過了5年還是平級的少將。曾經的下級朱可夫已經連升四級從旅級軍銜升到大將，讓他望塵莫及了。
羅科索夫斯基少將
1940年10月，羅科索夫斯基離開了他渡過了27個年頭的騎兵部隊，去指揮一個完全陌生的兵種，他被任命為新成立的第9機械化步兵軍軍長。羅科索夫斯基自己也說：「我對騎兵這一兵種是情有獨鐘的，打心眼裏喜愛它。…………我熟知一位騎兵指揮員所應具備的獨特的堅毅性格，因面我工作起來得心應手。」從德軍進攻波蘭開始，世界各國都意識到了裝甲部隊的強大威力，蘇聯也開始轉變觀念大力發展機械化軍團。
1941年6月22日淩晨，納粹德國對蘇聯發動了攻擊，衛國戰爭開始了。由於事發突然，整個前線一片混亂，在這個時刻就顯露出羅科索夫斯基的果斷而堅毅的性格了。淩晨4點，值班軍官交給羅科索夫斯基一封電報，集團軍司令部命令他開啟絕密作戰計劃。可是根據蘇軍條例，這份絕密作戰計劃只有收到蘇聯人民委員會主席或者國防人民委員的命令才可以開啟，而羅科索夫斯基收到的電報上的命令只有集團軍作戰處副處長的簽字，級別相差太大了。拆，還是不拆，這是擺在羅科索夫斯基面前的一道難題。
【莫斯科保衛戰】劇照
與基輔和莫斯科的聯系已經全部中斷了，羅科索夫斯基知道，如果是戰爭的話，每一分鐘都是寶貴的，他拒絕了下屬繼續等待命令的建議，當機立斷拆開絕密作戰計劃，按照預定命令將部隊展開。接下來的困難就是物資和彈藥了，當天是星期天，附近的國防倉庫全部關門休息，這時又凸顯羅科索夫斯基決斷了。他的回憶錄裏描述了當時的情況：「…………附近有幾座中央彈藥庫和一個駐區汽車場，我命令開啟這些彈藥庫。管彈藥庫的軍需員試圖反抗，我一番訓斥和開幾張收據就把他們打發過去。我從來也沒有像那一天那樣開出那麽多收據。」
在羅科索夫斯基的努力下，到下午14點左右，第9機械化軍就以最佳狀態開赴了前線，全軍分成三隊向諾沃格勒、羅夫諾和盧茨克方向前進。在戰爭的最初幾周裏，在西部邊境的百萬部隊大都處於混亂中遭到合圍或殲滅時，羅科索夫斯基的第9機械化軍是少數幾個能與敵頑強周旋、成建制殺出重圍的部隊，他的卓越表現讓他第四次榮獲紅旗勛章。
蘇聯的機械化部隊
7月14日，羅科索夫斯基接到命令將殘存的第9機械化軍交給副手，然後去莫斯科報到。當時的形勢是德軍空降兵在亞爾采沃空降成功，從這裏到斯摩棱斯克方向「形成了真空」，最高統帥部計劃在亞爾采沃方向建立一個強大的機動集群，以完成對斯摩棱斯克的掩護。調羅科索夫斯基來就是讓他擔任這個還不存在的集群的司令員。總參謀部能給他的就是兩輛裝載4聯高射機槍的汽車和一部無線電台及一個指揮員小組。羅科索夫斯基在自己的回憶錄裏就提到自己帶著兩輛汽車的「兵團」抵達了新的西方面軍的指揮部。
新任西方面軍的司令員就是羅科索夫斯基的老上司兼「救命恩人」鐵木辛哥，他也沒有現成的部隊交給羅科索夫斯基指揮，只是告訴他後方有兩三個師即將到達，其他還有幾個存在在紙面上的師要他自己去尋找。並答應從這裏到亞沃采夫所遇上的所有部隊都歸羅科索夫斯基指揮。
7月17日夜間，羅科索夫斯基頻著他兩輛汽車的「集群」出發了，一路上他收容了不少人，步兵、炮兵、通訊兵、工兵、機槍手、迫擊炮手、醫務人員都有。在行進間組成了集群司令部，在到達亞沃采夫時，羅科索夫斯基的司令部已經有了個8輛吉普車，一部電台和兩輛拖四聯高射炮的卡車。幸運的是在亞爾采夫東邊，羅科索夫斯基遇到了與司令部失去聯系的步兵第38師，他把沿路收容的人都補充進了這個師。隨著戰鬥的開展，越來越多的失散部隊和個人加入了他的集群，許多部隊都已經是損失慘重，人數最少的一個師在加入集群時只有260人。
7月22日起，羅科索夫斯基靠著這拼湊起來的集群和另外五個集群發起了反擊，在傷亡慘重後雖未能擊退當面之敵，但是阻滯了德軍在莫斯科方向上的進攻，並支援了保衛斯摩棱斯克的第16、第20集團軍的突圍。
8月初，突圍出來的第16集團軍被並入羅科索夫斯基的集群，「羅科索夫斯基集群」被撤銷，部隊沿用第16集團軍的番號，羅科索夫斯基被任命為新的第16集團軍司令員，負責保衛斯摩棱斯克—維亞濟馬一線。8月11日，羅科索夫斯基晉升為中將。
羅科索夫斯基中將
斯摩棱斯克戰役結束後，中央方向相對平靜。9月底，德軍在南方攻占了基輔，在北方完成了對列寧格勒的包圍，希特勒下令開始實行進攻莫斯科的「台風」計劃。
1941年10月5日，羅科索夫斯基接到命令，讓他把防守的地段和所有部隊交給第20集團軍的葉爾 沙科夫將軍，只帶著司令部去維亞茲馬接收5個加強了的步兵師組成新的第16集團軍組織反突擊。羅科索夫斯基雖有疑問還是出發了，他又一次成為了「空頭司令」。
【莫斯科保衛戰】劇照
6日拂曉，羅科索夫斯基抵達維亞濟馬，只找到了給他準備好的指揮部，卻找不到任何一個師的部隊。而就在這時德軍坦克已經沖進了城內，羅科索夫斯基立即指揮司令部的人撤退。在市郊，他根據了解到的情報判斷德軍再次發動了鉗形攻勢，包圍圈已經形成。羅科索夫斯基當機立斷朝東北方向突圍。一路上，他收編遇到的所有打散了的部隊，在遇到失去聯系的第18民兵師後，羅科索夫斯基把他們納入了自己的部隊，這樣，他的第16集團軍又一次具備了作戰能力。10月9日晚間，他率軍渡過格紮季河，順利突出德軍包圍，在離莫紮伊斯 克45公裏的地方，他和方面軍司令部接上了聯系。
新任西方方面軍司令員朱可夫命令羅科索夫斯基「率領步兵第18師前出沃洛科拉姆斯克地域，收編該地全部部隊和新到達該地的部隊，在北起莫斯科海（伏爾加水庫）南到魯紮河的地帶組織防禦，制止敵人從該地帶突破」。羅科索夫斯基頻著他幸存的司令部到達了指定地點開始收羅部隊，花了三天時間，他的第16集團軍再次擁有了21個步兵營、6個騎兵團的部隊，他還收集到了73門反坦克炮和123門野戰炮。但這點兵力對於他要防守的100多公裏的正面是遠遠不夠的。
羅科索夫斯基在前線
在接下來的兩個月裏，德軍以絕對優勢兵力向第16集團軍防地發起猛烈進攻。羅科索夫斯基頻著他新編成的部隊浴血奮戰，在極度疲憊和損失極大的情況下且戰且退，終於在離莫斯科僅25至35公裏處擋住了德軍的進攻。遭受極大消耗的德軍已成強弩之末，再無力推進。著名的潘菲洛夫28勇士就是羅科索夫斯基的部下，他們喊出的「俄羅斯的大地廣袤無比，我們已經沒有退路，背後就是莫斯科！」正是羅科索夫斯基和他的部下戰鬥的動力所在。
12月5日，反擊開始了，7日，第16集團軍從防禦直接轉入進攻。經一天激戰，羅科索夫斯基解放了克留克沃。羅科索夫斯基不給敵人以喘息之機，命令部隊不停息地全速追擊。蘇軍在莫斯科附近的反攻在1月初結束了，德國中央集團軍群被面擊退了100到300公裏，莫斯科的威脅被解除了。
莫斯科保衛戰後反擊的蘇軍
1942年1月中旬，根據最高統帥部大本營的決定，蘇軍在各個地段上發動了新的進攻。羅科索夫斯基再次接到命令把所有部隊交給友鄰的第5集團軍。率集團軍司令部方面軍接受新任務。在西方方面軍指揮所，方面軍參謀長瓦西裏·索科洛夫斯基中將說明了現在的形勢：德軍對左翼反突擊，控制了蘇希尼奇這個大鐵路樞紐及其周圍地區。方面軍命令羅科索夫斯基及其司令部在最短的時間裏趕到蘇希尼奇地區，接管當地部隊，並恢復原來的態勢。羅科索夫斯基受命後立即率司令部趕往前線。這是他半年裏第三次接手新部隊，這正印證了一個傳言：有了情況史太林第一個想到的是朱可夫，朱可夫第一個想到的是羅科索夫斯基。
幾天後，方面軍司令部接到羅科索夫斯基的報告：「已攻克蘇希尼奇，並在那裏設立了集團軍司令部。」3月下旬，羅科索夫斯基下部隊視察後返回在蘇希尼奇的司令部，一顆炮彈在司令部旁邊爆炸，彈片擊中羅科索夫斯基脊椎，受了重傷的羅科索夫斯基被送往莫斯科治療。這是羅科索夫斯基軍事生涯中第三次負傷，也是最嚴重的一次。
