在这样的大好形势下，八路军总部又根据中共中央由山地向平原发展的指示，先后派张贤约、陈再道、肖华、宋任穷、徐向前、杨得志等率部飞兵下太行，东出冀鲁豫，开创冀南、冀鲁豫敌后根据地。同时，1937年底山东各地在我党领导下起义成立了八路军山东纵队，由张经武任司令员，黎玉任政委，由于斗争需要，张经武向中央提出派一个主力团到山东的请求，为加强山东的抗日力量，1939年春节左右，总部决定派115师主力开赴山东，与山东纵队并肩作战。同年8月中共中央和八路军总部指示徐向前、朱瑞率一部分干部抵鲁南与山东纵队会合，成立八路军第1纵队，徐向前任司令员，朱瑞任政委，统一指挥黄河以北山东境内的八路军部队。

　　1938年4月以后，八路军总部继武乡义门村之后，先后又在武乡寨上村、沁县南底水、屯留故县镇、潞城北村驻扎1年零3个月。同年12月，中共中央指示将一直战斗在山西前线的八路军总部改称八路军前方总部。分别由朱、彭总副司令兼任前总总副指挥，副参谋长左权兼前总参谋长。1939年3月，为加强八路军的后勤工作，中央决定在八路军领导机构中设立后勤部，由杨立三任部长兼政委，下设供给部、卫生部、兵站部、军工部、兵运部等。1939年7月15日，八路军总部转战到武乡县砖壁、王家峪村。为进一步贯彻我党制定的抗日民族统一战线，加速粉碎敌寇的军事“扫荡”与政治阴谋，总部向华北一万万同胞宣布了以改善民生、实行民主、发动群众、开展游击战争、坚持华北抗战、实施巩固敌后根据地的“七大纲领”，为了加强统战工作，朱总司令还在武乡县土河村召开了由500余人参加的榆武绅士名流座谈会，变中间势力为进步势力，通过这次会议，屯积公粮6.7万石。1939年后半年，国民党顽固派加紧了反共磨擦活动，到处制造事端，造谣中伤，对我根据地进行挑衅，在华北由河北的冀察战区总司令鹿钟麟、国民党山东省主席沈鸿烈等人经常与八路军发生冲突，1939年12月阎锡山也命令所部制造了“12月事变”，对我八路军和决死纵队发动进攻。特别是盘踞在冀南、豫北一带的国民党第97军军长朱怀冰妄图向我太行区进犯，吃掉我八路军总部机关。1940年2月，朱怀冰亲自来武乡王家峪八路军总部寻衅，我朱彭总副司令与中共北方局书记杨尚昆等同志以礼相待，与之进行了面对面的谈判，朱总司令为顾全抗战大局，以国家利益为重，义正词严地说：“我们要求坚持抗战、坚持团结、坚持进步，反对投降、反对分裂、反对倒退。只有枪口一致对外，才能把日本帝国主义赶出中国，搞磨擦，闹分裂，搞阴谋，反共反人民，只能是亲者痛，仇者快。”但是朱怀冰却蛮横无理地提出了向我们要地盘的条件，朱总司令严厉地说道，“现在日寇还占着许多地方，有本事自己到日本人手中去夺。八路军的根据地是从日寇手中夺回来的。这是我们抗日的必要条件，为什么要来找八路军要地盘呢?”左权参谋长听了朱怀冰的话更是满腔怒火，他一拍桌子说：“你们把地盘拱手让给了日本人，却又想来我们手中夺取，你先问问广大人民答不答应，如果你们坚持反共一意孤行，制造磨擦，决没有好下场的!”朱怀冰理屈词穷，只好灰溜溜地离开王家峪。

　　但是，他并不甘心，1940年3月，他伙同鹿钟麟、石友三等部向我太行根据地发动进攻，妄图吃掉我总部首脑机关，八路军总部指示将太南地区的115师344旅与其它部队联合编成八路军第2纵队，由左权兼司令员，黄克诚任政委，保卫了太南抗日根据地，同时总部命令八路军129师集中13个团的兵力，由邓小平政委与李达参谋长亲自指挥，于3月5日至8日，进行了磁(县)武(安)涉(县)林(县)反顽战役，一举歼灭了朱怀冰的3个师，朱怀冰单人独马负伤而逃。从而粉碎了国民党顽固派的猖狂进攻，保卫了我敌后军民用生命换来的胜利果实。

　　国民党第一次反共高潮被击退以后，蒋介石仍增派兵力，继续向我解放区进犯，针对这一形势，毛泽东、王稼祥致电朱总，“目前力争八路、中央两军团结，朱总能否与卫一晤?”根据这一指示，1940年4月下旬，朱总司令离开总部前往洛阳与国民党第一战区司令长官卫立煌进行谈判。途中，朱总立于太行山头，纵目黄河两岸抗日烽火，耳闻日寇隆隆炮声，心潮澎湃，感慨万千，引吭高歌，吟出著名的《出太行》一诗：

　　群峰壁立太行头，天险黄河一望收，

　　两岸烽烟红似火，此行当可慰同仇。

　　朱总在洛阳停留8天，此间多次与卫立煌商谈，并取得共识，终于维持了国共两方军队的抗日统一战线。5月26日，朱总司令经西安回到延安，主持延安总部工作，并任命王若飞任八路军副参谋长，驻延安办公。同时，野战政治部主任傅钟也调回延安，由罗瑞卿接任野政主任一职。同年8月，根据中央和八路军总部决定：对冀鲁豫区的八路军队伍进行整编，344旅与山纵第6支队合编为新的第4纵队，由彭雪枫任司令员，坚持豫皖苏边区斗争;新2旅及687团等部队合编为八路军第5纵队，黄克诚任司令员兼政委，执行东进任务。皖南事变后第4、5纵队南下支援新四军分别编为新四军第4、3师。