1937年，随着国际国内形势的复杂多变，斯大林将1934年开始的肃反运动(大清洗)推向了高潮。军队是大清洗的重灾区， 在红军指挥人员和政工人员中有4万余人被清洗，其中1.5万人被枪决。1935年授衔中5名元帅中的3人、4名一级集团军级将领中的3人（沙波什尼科夫幸存并晋升为元帅）、12名二级集团军级将领的全部、67名军长中的60人、199名师长中的136人、397名旅长中的221人都被枪决。
肃反中枪决罪犯
罗科索夫斯基在这场灾难中也未能幸免，1937年8月，因为他的波兰血统，有人指控他与波兰和日本的谍报机关有瓜葛，内务部人员随即对他进行了调查，并以疏忽军团供给的理由逮捕了他，将他关入内务部监狱。在监狱里他遭受了许多非人的待遇，牙齿被打掉，肋骨被打断几根。某天他和其他两人一起被带上刑场，两声枪响后，前两人倒地不起，罗科索夫斯基已经在等待最后时刻的到来了，结果最后一发射出来的是空包弹，他只是当了一回陪斩。类似的事发生了两回，如果不是他的老上级铁木辛哥的暗中维护，罗科索夫斯基早就成为大清洗的冤魂之一了。
随着1939年9月第二次世界大战的爆发，战争的阴云笼罩在苏联的头上。年底爆发的苏芬战争把大清洗的恶果表现的淋漓尽至，军队的战斗力下降的不是一点半点，最后是依靠巨大的体量，苏联才以巨大的牺牲惨胜了芬兰这蕞尔小国。铁木辛哥以此为契机，向斯大林进言，以大战在即、军队缺乏指挥人才为由要求释放罗科索夫斯基，斯大林接受了铁木辛哥的建议，将关押了两年半的罗科索夫斯基释放。
罗科索夫斯基和妻子女儿
罗科索夫斯基在自己的回忆录里提到过这段时间：「1940年春，我携家眷前往索契，之后应邀前往国防人民委员铁木辛哥处，受到了他热情的接待。…………铁木辛哥建议我再度出任骑兵第5军的军长。」在正式上任第5骑兵军前，罗科索夫斯基还受当时基辅特别军区司令的委派去参与占领罗马尼亚的比萨拉比亚地区的行动，这个地区后来成为苏联的加盟共和国摩尔多瓦。
1940年5月，苏联军衔制度调整，罗科索夫斯基被授予少将军衔。两年半的牢狱之灾让他原地踏步了，35的师级军衔，过了5年还是平级的少将。曾经的下级朱可夫已经连升四级从旅级军衔升到大将，让他望尘莫及了。
罗科索夫斯基少将
1940年10月，罗科索夫斯基离开了他渡过了27个年头的骑兵部队，去指挥一个完全陌生的兵种，他被任命为新成立的第9机械化步兵军军长。罗科索夫斯基自己也说：「我对骑兵这一兵种是情有独钟的，打心眼里喜爱它。…………我熟知一位骑兵指挥员所应具备的独特的坚毅性格，因面我工作起来得心应手。」从德军进攻波兰开始，世界各国都意识到了装甲部队的强大威力，苏联也开始转变观念大力发展机械化军团。
1941年6月22日凌晨，纳粹德国对苏联发动了攻击，卫国战争开始了。由于事发突然，整个前线一片混乱，在这个时刻就显露出罗科索夫斯基的果断而坚毅的性格了。凌晨4点，值班军官交给罗科索夫斯基一封电报，集团军司令部命令他打开绝密作战计划。可是根据苏军条例，这份绝密作战计划只有收到苏联人民委员会主席或者国防人民委员的命令才可以打开，而罗科索夫斯基收到的电报上的命令只有集团军作战处副处长的签字，级别相差太大了。拆，还是不拆，这是摆在罗科索夫斯基面前的一道难题。
【莫斯科保卫战】剧照
与基辅和莫斯科的联系已经全部中断了，罗科索夫斯基知道，如果是战争的话，每一分钟都是宝贵的，他拒绝了下属继续等待命令的建议，当机立断拆开绝密作战计划，按照预定命令将部队展开。接下来的困难就是物资和弹药了，当天是星期天，附近的国防仓库全部关门休息，这时又凸显罗科索夫斯基决断了。他的回忆录里描述了当时的情况：「…………附近有几座中央弹药库和一个驻区汽车场，我命令打开这些弹药库。管弹药库的军需员试图反抗，我一番训斥和开几张收据就把他们打发过去。我从来也没有像那一天那样开出那么多收据。」
在罗科索夫斯基的努力下，到下午14点左右，第9机械化军就以最佳状态开赴了前线，全军分成三队向诺沃格勒、罗夫诺和卢茨克方向前进。在战争的最初几周里，在西部边境的百万部队大都处于混乱中遭到合围或歼灭时，罗科索夫斯基的第9机械化军是少数几个能与敌顽强周旋、成建制杀出重围的部队，他的卓越表现让他第四次荣获红旗勋章。
苏联的机械化部队
7月14日，罗科索夫斯基接到命令将残存的第9机械化军交给副手，然后去莫斯科报到。当时的形势是德军空降兵在亚尔采沃空降成功，从这里到斯摩棱斯克方向「形成了真空」，最高统帅部计划在亚尔采沃方向建立一个强大的机动集群，以完成对斯摩棱斯克的掩护。调罗科索夫斯基来就是让他担任这个还不存在的集群的司令员。总参谋部能给他的就是两辆装载4联高射机枪的汽车和一部无线电台及一个指挥员小组。罗科索夫斯基在自己的回忆录里就提到自己带着两辆汽车的「兵团」抵达了新的西方面军的指挥部。
新任西方面军的司令员就是罗科索夫斯基的老上司兼「救命恩人」铁木辛哥，他也没有现成的部队交给罗科索夫斯基指挥，只是告诉他后方有两三个师即将到达，其他还有几个存在在纸面上的师要他自己去寻找。并答应从这里到亚沃采夫所遇上的所有部队都归罗科索夫斯基指挥。
7月17日夜间，罗科索夫斯基带着他两辆汽车的「集群」出发了，一路上他收容了不少人，步兵、炮兵、通信兵、工兵、机枪手、迫击炮手、医务人员都有。在行进间组成了集群司令部，在到达亚沃采夫时，罗科索夫斯基的司令部已经有了个8辆吉普车，一部电台和两辆拖四联高射炮的卡车。幸运的是在亚尔采夫东边，罗科索夫斯基遇到了与司令部失去联系的步兵第38师，他把沿路收容的人都补充进了这个师。随着战斗的开展，越来越多的失散部队和个人加入了他的集群，许多部队都已经是损失惨重，人数最少的一个师在加入集群时只有260人。
7月22日起，罗科索夫斯基靠着这拼凑起来的集群和另外五个集群发起了反击，在伤亡惨重后虽未能击退当面之敌，但是阻滞了德军在莫斯科方向上的进攻，并支援了保卫斯摩棱斯克的第16、第20集团军的突围。
8月初，突围出来的第16集团军被并入罗科索夫斯基的集群，「罗科索夫斯基集群」被撤销，部队沿用第16集团军的番号，罗科索夫斯基被任命为新的第16集团军司令员，负责保卫斯摩棱斯克—维亚济马一线。8月11日，罗科索夫斯基晋升为中将。
罗科索夫斯基中将
斯摩棱斯克战役结束后，中央方向相对平静。9月底，德军在南方攻占了基辅，在北方完成了对列宁格勒的包围，希特勒下令开始实行进攻莫斯科的「台风」计划。
1941年10月5日，罗科索夫斯基接到命令，让他把防守的地段和所有部队交给第20集团军的叶尔 沙科夫将军，只带着司令部去维亚兹马接收5个加强了的步兵师组成新的第16集团军组织反突击。罗科索夫斯基虽有疑问还是出发了，他又一次成为了「空头司令」。
【莫斯科保卫战】剧照
6日拂晓，罗科索夫斯基抵达维亚济马，只找到了给他准备好的指挥部，却找不到任何一个师的部队。而就在这时德军坦克已经冲进了城内，罗科索夫斯基立即指挥司令部的人撤退。在市郊，他根据了解到的情报判断德军再次发动了钳形攻势，包围圈已经形成。罗科索夫斯基当机立断朝东北方向突围。一路上，他收编遇到的所有打散了的部队，在遇到失去联系的第18民兵师后，罗科索夫斯基把他们纳入了自己的部队，这样，他的第16集团军又一次具备了作战能力。10月9日晚间，他率军渡过格扎季河，顺利突出德军包围，在离莫扎伊斯 克45公里的地方，他和方面军司令部接上了联系。
新任西方方面军司令员朱可夫命令罗科索夫斯基「率领步兵第18师前出沃洛科拉姆斯克地域，收编该地全部部队和新到达该地的部队，在北起莫斯科海（伏尔加水库）南到鲁扎河的地带组织防御，制止敌人从该地带突破」。罗科索夫斯基带着他幸存的司令部到达了指定地点开始收罗部队，花了三天时间，他的第16集团军再次拥有了21个步兵营、6个骑兵团的部队，他还收集到了73门反坦克炮和123门野战炮。但这点兵力对于他要防守的100多公里的正面是远远不够的。
罗科索夫斯基在前线
在接下来的两个月里，德军以绝对优势兵力向第16集团军防地发起猛烈进攻。罗科索夫斯基带着他新编成的部队浴血奋战，在极度疲惫和损失极大的情况下且战且退，终于在离莫斯科仅25至35公里处挡住了德军的进攻。遭受极大消耗的德军已成强弩之末，再无力推进。著名的潘菲洛夫28勇士就是罗科索夫斯基的部下，他们喊出的「俄罗斯的大地广袤无比，我们已经没有退路，背后就是莫斯科！」正是罗科索夫斯基和他的部下战斗的动力所在。
12月5日，反击开始了，7日，第16集团军从防御直接转入进攻。经一天激战，罗科索夫斯基解放了克留克沃。罗科索夫斯基不给敌人以喘息之机，命令部队不停息地全速追击。苏军在莫斯科附近的反攻在1月初结束了，德国中央集团军群被面击退了100到300公里，莫斯科的威胁被解除了。
莫斯科保卫战后反击的苏军
1942年1月中旬，根据最高统帅部大本营的决定，苏军在各个地段上发动了新的进攻。罗科索夫斯基再次接到命令把所有部队交给友邻的第5集团军。率集团军司令部方面军接受新任务。在西方方面军指挥所，方面军参谋长瓦西里·索科洛夫斯基中将说明了现在的形势：德军对左翼反突击，控制了苏希尼奇这个大铁路枢纽及其周围地区。方面军命令罗科索夫斯基及其司令部在最短的时间里赶到苏希尼奇地区，接管当地部队，并恢复原来的态势。罗科索夫斯基受命后立即率司令部赶往前线。这是他半年里第三次接手新部队，这正印证了一个传言：有了情况斯大林第一个想到的是朱可夫，朱可夫第一个想到的是罗科索夫斯基。
几天后，方面军司令部接到罗科索夫斯基的报告：「已攻克苏希尼奇，并在那里设立了集团军司令部。」3月下旬，罗科索夫斯基下部队视察后返回在苏希尼奇的司令部，一颗炮弹在司令部旁边爆炸，弹片击中罗科索夫斯基脊椎，受了重伤的罗科索夫斯基被送往莫斯科治疗。这是罗科索夫斯基军事生涯中第三次负伤，也是最严重的一次。
