抗日战争爆发后，出席了中共中央在洛川召开的政治局扩大会议，被选为中共中央革命军事委员会委员。1937年8月，任八路军第129师副师长。1938年4月，率第129师和第115师各一部进入河北省南部，创建冀南抗日根据地。1939年6月到山东，任八路军第1纵队司令员。1942年任陕甘宁晋绥联防军副司令员，后任抗日军政大学代理校长。
　　解放战争时期，先后任晋冀鲁豫军区副司令员、华北军区副司令员兼第一兵团(后改为人民解放军第十八兵团)司令员兼政治委员。1948年3～5月，指挥临汾战役，以大部分新组建之部队，攻克设防坚固的临汾城。6～7月指挥晋中战役，以6万兵力歼国民党军10万余人，解放县城14座。1948年10月到1949年4月初，带病组织指挥太原战役，任太原前线司令部司令员兼政治委员、中共太原前线总前委书记。
　　中华人民共和国建立后，任人民解放军总参谋长。1954年起，任中央人民政府人民革命军事委员会副主席，国防委员会副主席。1955年被授予中华人民共和国元帅军衔和一级八一勋章、一级独立自由勋章、一级解放勋章。1965年起，任第三、第四届全国人大常委会副委员长。1966～1987年任中共中央军委副主席。参与领导军队革命化、现代化、正规化建设和国防建设。文化大革命期间，同林彪、江青反革命集团进行了坚决斗争。1978～1980年，任国务院副总理兼国防部部长。1983年6月至1988年4月为中华人民共和国中央军委副主席。他是中共第七至第十二届中央委员，第八届(十一中全会补选)、第十一届、第十二届中央政治局委员。1990年9月21日在北京逝世。