在我军历史书上，曾记载过4个名为山东军区的建制单位，而在现实中又比较容易混淆。应该说，这4个山东军区之间有一定的联系，如都是诞生在山东战略区、有的所辖单位也是相同的，但又确有区别。如他们的组建与存续时间、所辖范围和规模、领导人乃至建制级别等都有所不同，不能混为一谈。

    第一个山东军区成立于1942年1月，其前身是由山东地区八路军游击队组建而成的山东纵队。山东军区番号于8月份正式启用，黎玉任政治委员（司令员空缺）、王建安任副司令员兼参谋长、江华任政治部主任，下辖鲁南、鲁中、胶东、清河4个二级军区和第5旅、滨海独立军分区。虽然山东军区在建制上与第115师是并列之大单位，互不隶属，但在军事作战方面要接受第115师指挥。

    1943年3月，第115师与山东军区领导机关奉命合并组成新的山东军区，亦即第二个山东军区。罗荣桓任司令员兼政治委员、黎玉任副政治委员、萧华任政治部主任（林彪、萧劲光曾于1945年8月被分别任命为司令员和副司令员但均未到职），下辖鲁南、鲁中、胶东、清河、冀鲁边、滨海等6个二级军区。第115师与原山东军区所属各旅及各支队统一整编为13个主力团，充实地方部队。从此，山东地区的八路军实行了真正的集中统一领导，实现了中共中央关于主力军地方化的战略意图。

    根据中共中央、中央军委的指示，1945年10月下旬至11月上旬，罗荣桓率山东军区机关大部及主力部队陆续开赴东北，此时北上山东的新四军军部正式兼领山东军区，陈毅任司令员、饶漱石任政治委员、张云逸和罗炳辉任副司令员、黎玉任副政治委员、陈士榘任参谋长、舒同任政治部主任，下辖滨海、胶东、渤海(清河与冀鲁边合编)、鲁中、鲁南军区等单位，直到1947年1月下旬，华东部队按照中央军委关于统一整编的命令，撤销新四军、山东军区、华中军区番号，合编为华东军区，成为全国六大战略区之一。至此，由新四军兼领的第三个山东军区也即时画上了句号。

    1949年2月中旬，华东军区根据中央军委的指示精神，决定重建山东军区（兵团级），张云逸和许世友先后任司令员、康生和舒同先后兼任政治委员，下辖胶东、渤海、鲁中南军区和济南警备司令部、徐州警备司令部、昌潍特区等单位。1955年2月，国务院决定将原来的华东等6个大军区改划为包括济南在内的12个大军区。据此，山东军区于5月正式从华东军区划出改编为济南军区，华东军区改称南京军区，均直属中央军委领导。最后一个山东军区即成为济南军区的前身。