日本投降后的1946年1月，中共中央军委决定，新四军军部与山东军区合并，组成新四军兼山东军区，统一领导山东和华中地区的军事斗争。陈毅任新四军军长兼山东军区司令员，饶漱石任新四军政治委员兼山东军区政治委员，张云逸任新四军第一副军长兼山东军区第一副司令员，主持新四军军部和军区后勤及基地建设，黎玉任副政治委员，陈士榘任参谋长。同月，津浦前线野战军改称山东野战军。

    1946年6月下旬，国民党撕毁停战协定，发动全面内战，调集58个旅约46万人的兵力，采取由南向北、由西向东逐步压缩的方针，大举进攻山东、华中解放区。山东军区各部队，会同山东野战军第1纵队，先后在胶济铁路（青岛—济南）西段和东段、鲁南、鲁西南、胶东、鲁中、渤海等地抗击进犯的国民党军，保卫解放区。

    当时，华东方面，我军实际上是三线作战：第一是苏北，粟裕、谭震林等指挥第1、6师和7纵、9纵、10纵及后来组建的11纵；第二是淮北，陈毅、舒同指挥新四军二纵三个旅（不久五旅南下苏北作战和淮南独5团组建11纵）、七师三个旅和山东八师三个团；第三是胶济线，张云逸、黎玉指挥叶飞一纵三个旅和山东第四、九师，和许世友的胶东第五师、六师。

    面对东西夹击的大量敌军，山东军区积极应战，张云逸同黎玉等分析研究后决定，以地方武装的民兵、游击队，在敌军所到之处与后方广泛地发动游击战争，不断地消耗敌军的有生力量，制造和扩大敌人的缺点和过失，“以散耗集”；集中主力部队力量，寻求敌人较弱的一点或数点，采用“声东击西”“调虎离山”“金蝉脱壳”“远交近攻”等战术，一连打了两个多月的运动战，“以集灭散”。敌人企图在半个月内打通胶济线的计划终于告吹，有力地配合了我野战部队在南线的军事作战。张云逸协助陈毅指挥部队，两个月歼敌7000多人，使敌人打通胶济线阴谋破产。

    1946年10月底，国民党军第54军、第8军由胶县、潍县分路合击平度县城，企图消灭胶东地区解放军主力，并切断山东解放区与东北解放区的海上联系。山东军区令胶东军区部队在平度、掖县地区阻击，鲁中军区部队在安丘地区钳制。接到指示后，张云逸部署胶东军区和鲁中军区部队于11月1日发动平(度)安(邱)战役。我军各地方武装，在敌人出动之初，从敌人驻地出动开始，就展开节节阻击，层层骚扰，迟滞国民党军的进攻速度，配合胶东军区主力完成战略展开。

    11月1日，由胶县出犯的国民党第54军进抵平度县城以南的马丘、白河庙、河岱地区时，胶东军区第5、第6师和警备第3旅当晚进行反击，歼敌第54军一部，次日晨撤出战斗；由潍县出犯的国民党第8军向平度县城以西猛攻，阻击部队予以杀伤后主动撤离，国民党第8、第54军于3日会合占领平度县城。5日起，第8军在空军、海军支援下向掖县城进犯。胶东军区部队顽强阻击，多次实施反击，予以重大杀伤，击落其飞机2架，于11日撤出战斗。

    鲁中军区第9师为配合胶东军区部队作战，于4日晚突然攻击安丘县城守军，全歼1个保安团及其他部队4000余人，迫使第54军由平度回援。此役，共歼国民党军1.5万余人，粉碎了国民党军占领胶东解放区的企图。战役结束后，伤亡惨重的国民党第8军军长李弥都不得不承认：“我带兵数年，从未遭如此严重损失。”