1903年1月1日（农历1902年腊月初三）出生在贫苦农民家庭。幼年读过私塾，后流落东北，参加了东北军。1932年，因不满旧军队，毅然返回故乡，寻求救国救民的新路。1937年，抗日战争爆发后，在母亲教育下，组织了国民抗日义勇队，任队长，积极领导乡民开展抗日斗争。

    1938年4月，参加八路军。历任回民教导队队长。7月，任回民干部教导总队总队长。10月，加入中国共产党。率部转战河间、献县、青县、沧州一带，先后作战30余次，打死打伤日伪军500多人；破坏铁路70余次，覆车20余次。1939年7月，奉命开赴无极、藁城、新东一带，开辟新的抗日根据地。后任八路军第三纵队国民支队司令员兼冀鲁豫军区第三军分区司令员。1940年8月，率部参加了百团大战。10月，所部荣获冀中军区授予的“打不烂，拖不垮，攻无不克的铁军”锦旗一面。

    1941年1月，奉命率部北上，挺进大清河北，粉碎了敌人对冀中抗日根据地的分割、蚕食政策。同年夏，率部转战子牙河畔，先后作战27次，歼敌500多人，有力地配合了八路军的正面作战。因此，引起敌人极大仇视。日敌山本队长写信威胁：“有你马本斋就没有我山本，有我山本就没有你马本斋…”。他针锋相对地回敬道：“有你山本就没有我马本斋，有我马本斋就没有你山本……”。后其家房屋被烧，母亲被捕。但他仍坚定抗日决心，毫不动摇。母亲牺性后，他奋笔疾书：“伟大母亲，虽死犹生，儿承母志，继续斗争！”

    1942年4月，率部参加了陈庄歼灭战。后奉命率部转战鲁西北抗日根据地。1943年秋，又奉命调到范县、观城一带，组织了新的第三分区粉碎了敌人的秋季扫荡。同年11月，率部参加了八公桥战斗，被冀鲁豫区党委书记黄敬盛赞“后起的天下军事家”。1944年2月7日，身患重病。弥留之际，仍不忘抗日。叮嘱身边同志：“让部队等着我！我不行了，把我的家属送到延安去，告诉三弟抗战到底！”后病逝于山东省莘县张鲁镇。

    同年3月17日，中共中央在延安为他举行了隆重的追悼大会。毛泽东、周恩来、朱德为他赠送了挽联。吴玉章在悼词中称赞他是优秀的共产党员、模范军人和民族英雄。后张鲁镇人民献出10亩土地为他修建了祠堂。1956年，他的家乡东辛庄被命名为“本斋回族自治乡”。