1942年秋季，日寇搜罗了3万余众，对大青山游击根据地发动了空前规模的大“扫荡”。当时，姚喆命令部队主力和军政机关南移晋西北根据地，自己仅率本部第三团教导营和支队直属连2000余众与敌周旋。一些同志建议他回绥南支队司令部去，他却说:“我要和同志们在一起战胜敌人，渡过难关。”为了减小目标，便于机动和解决食宿困难，姚喆决定把部队化整为零，以连或班为单位单独活动。1943年夏，随着大青山地区的对敌斗争的胜利，党政军各方面的工作得到逐步恢复，姚喆也成为新成立的塞北军分区司令员。1945年7月，中共中央将塞北军分区改为绥蒙军区，姚喆任司令员。此后他率部连续打了多个胜仗，组建了绥南、绥西、绥中、绥东四个军分区。

    1945年8月，遵照毛泽东《对日寇的最后一战》的指示，姚喆指挥绥蒙地区的步骑部队昼夜兼程，向敌占区挺进，配合晋绥军区和晋察冀部队攻打归绥，迫使日本侵略军放下武器，并占领了平绥线除包头、归绥以外所有重要城镇。9月2日，日本在投降书上正式签字，中国抗日战争胜利结束，大青山抗日游击战争取得最后胜利。