1942年7月，胶东军区成立，许世友任司令员，胶东区党委书记林浩兼任军区政委。当年冬，日军1.5万余人加上伪军5000余人，配备10余架飞机和26艘军舰，在日军华北方面军司令官冈村宁次亲自指挥下，对胶东根据地进行空前规模的大“扫荡”。日寇大搞“铁壁合围”、“大拉网”、“梳篦式扫荡”、“清剿抉剔”等。林浩临危不惧，他同军区司令员许世友、副司令员吴克华等领导同志一起，组织指挥了一次又一次较大规模的作战，在40多天的反“扫荡”战斗中，歼敌2000多人，救出了被日军包围在马石山上的群众2000多名，粉碎了日、伪军对胶东抗日根据地最大规模的“清剿”、“扫荡”。

    1944年8月，为改善胶东境内东海、北海、西海、南海4个根据地的联系，林浩、许世友领导胶东军区对敌展开了声势浩大的秋季攻势。到9月下旬，在40多天里，歼日伪5000余人，攻克、迫敌放弃据点130余处，4个根据地完全连成了一片。

    1945年春天，经区党委和军区领导研究决定:于2月11日发起讨伐胶东顽伪“双料”的叛军头子赵保原战役。林浩政委与吴克华副司令员等军区负责人一起，组织指挥了这场重要战役。经9天连续作战，共歼灭赵保原主力万余人，缴获大批枪支弹药，解放人口70多万。这次战役，清除了山东顽军一个重要堡垒，剪掉了日寇在胶东的重要羽翼，扫除了胶东对敌大反攻的重大障碍。此后，林浩和军区参谋长袁仲贤又指挥胶东所属部队，发起了对与日伪勾结屡屡向我西海、南海军分区侵袭的顽军阎珂卿、王豫民等部的讨伐，歼敌5000余人，击溃其大部。从此，胶河两岸全为八路军控制，为抗战大反攻进一步创造了条件。当年8月，抗战大反攻到来之际，胶东军区部队作为山东军区五路大军的第三路，“在前线指挥许世友、政治委员林浩率领下，解放威海卫、牟平、烟台、福山、蓬莱、黄县、龙口、招远、莱阳、石岛、即墨，并突破了敌之崂山防线，攻占了流亭机场，逼近青岛，为迎接抗战胜利创造了有利条件。