1940年4月，黄克诚奉命离开太行山赴冀鲁豫，率领第344旅和纵队直属队越过平汉路，到冀鲁豫与新二、新三旅会合。到达冀鲁豫和杨得志会合后，奉命组建了冀鲁豫军区和军政委员会，黄克诚兼任军区司令员及军政委员会书记。

    这段时间，第二纵队已发展到两万余人。黄克诚考虑到冀鲁豫集中这么多部队，不利于大部队的活动和发展，回旋余地也不大，遂根据中央提出的“巩固华北，发展华中”的战略部署精神，向中央和总部建议将第二纵队分成两部分，由黄克诚和杨得志各带领一部分，一面坚持冀鲁豫斗争，一面越过陇海路，向华中发展。

    黄克诚的建议，得到了中央军委的高度重视，于4月17日电示黄克诚：新二旅及第344旅共1.2万多人，由太行山出发，在冀鲁豫边界，设法消灭石友三部后，准备随时调往陇海路南，配合彭雪枫部行动。

    5月，黄克诚率部歼灭进犯冀鲁豫根据地的叛逆顽军石友三部主力后，即奉命率八路军第二纵队主力一部1.2万余人挺进华中。 6月20日，南下的先头部队到达豫皖苏边区新兴集，与彭雪枫率领的新四军6支队会合。 6月27日，中央军委电示与彭雪枫部合编为八路军第四纵队。彭雪枫任司令员，黄克诚任政委。

    随后根据中央的战略意图，黄克诚将第344旅（欠687团）留在彭雪枫部，自己则率领新二旅的第五、六团和第344旅的第687团及部分兵力，离开豫皖苏，越过津浦铁路，向皖东北挺进。开辟、建设了苏北敌后抗日根据地，创建了拥有4万多平方公里的土地和800多万人口的苏北解放区，他所率的新四军3师也由开始组建时的2万余人发展到7万余人。