1929年6月，徐向前受党中央派遣，到鄂东北任红一军31师副师长。红31师辖四个大队，300来人，干部大多数是青年农民。领导这样一个部队，徐向前很注意发挥土生土长的“大老粗”的长处，从行军打仗到军民关系，处处以身作则，平易近人，和群众打成一片。这样，徐向前很快受到指战员的爱戴。

    徐向前刚到任不久，就遇上了敌人的三次围剿。他总结了东江游击战的经验，率领这支弱小队伍同敌人周旋，避强击弱，避实击虚，多打小仗，积小胜为大胜，使“罗李会剿”、“鄂豫会剿”、“徐夏会剿”相继被粉碎，红31师在一次次战斗中得到锻炼，逐渐成长壮大起来。通过三次反围剿，基本上奠定了他的游击战术。1929年11月，在中共鄂豫边第一次党代会上，徐向前总结了海陆丰武装斗争失败的教训和鄂豫边斗争的经验，和戴克敏、曹学楷等同志一道提出了《中共鄂豫边关于军事问题的决议案》。决议案规定了建军和集中作战、分散游击、敌进我退、敌退我进等七项游击战术原则，对鄂豫边红军的发展壮大产生了深远的影响。1930年春，徐向前升任红1军副军长兼红1师师长，他抓住蒋介石与冯玉祥、阎锡山中原大战的有利时机，率红1师三次出击平汉路，连克云梦、光山、罗田等县城，取得了三战三捷三扩编的重大胜利。徐向前的威名从此在红军内部和敌人当中广泛传开。当地群众曾编了歌谣，庆祝这些胜利：“平汉游击五十天，三战三捷三扩编，红军声势震武汉，革命烽火遍地燃。”

    1931年初，红1军与红15军合编组成红4军，徐向前任军参谋长，协助军长旷继勋指挥部队接连挫败国民党军对苏区进行的第一、第二次“围剿”，7月任红四军军长。接着，徐向前与军政委曾中生率部南下，一个月内连克英山、罗田、浠水、广济四城，歼敌七个多团。

    为了统一指挥，加强红军建设，准备大规模的作战行动，中共中央决定由红1军和红15军组建红四方面军，下辖四个师、12个团，计3万余人。由徐向前担任总指挥兼红4军军长。1931年11月，中国工农红军第四方面军正式成立。那一天，当宣布徐向前任总指挥时，全场掌声雷动，一片欢腾。年仅30岁的徐总指挥，穿着平整的灰布军装，检阅了部队，显得雄壮威武。徐总指挥检阅后发表了简短有力的讲话，指出：红四方面军的成立，是鄂豫皖苏区红军进一步发展壮大的标志，是中国共产党领导鄂豫皖苏区人民和广大红军指战员四年英勇斗争的胜利成果。他号召全体指战员，要团结一心，戒骄戒躁，为彻底粉碎敌人的“围剿”而努力奋斗。红四方面军的成立，是鄂豫皖革命根据地发展史上的一件大事，自然也是徐向前革命生涯中的一件大事。从此，他的名字和红四方面军紧密联系在一起。不久，徐向前组织指挥了黄安战役、商潢战役、苏家埠战役、潢光战役，歼敌正规军近四十个团，红军发展到4万余人。

    鄂豫皖红军力量的大发展，严重威胁敌人的腹心统治地区——武汉、南京等地，引起国民党阵营的极大恐慌。蒋介石于1932年亲自出马，调集二十四个师30余万兵力，部署第四次“围剿”，企图一鼓荡平鄂豫皖根据地。此时，张国焘等人积极推行王明的“左”的路线，拒不采纳徐向前同志关于休整部队、作好反“围剿”准备的建议，而是强令红军南下围攻麻城，进逼武汉。徐向前和红军被张国焘捆住了手脚，不能进行擅长的运动战，而去强行攻坚。这样就使红军陷入被动地位。红四方面军在两个月作战中，行程3000里，几乎无日不战。红军多次陷入险境，徐向前临危不惧，指挥果断，常常使红军化险为夷，转危为安。1932年寒冬，红四方面军1.4万余人在徐向前总指挥的率领下，渡汉水，攀乌道，越秦岭，战寒风，翻越人迹罕至的大巴山，直下通江县城，开创川陕革命根据地。

    1932年2月中旬，蒋介石委任川军副军长田颂尧、总指挥孙震纠集三十八个团近6万兵力，分三个纵队，向川陕根据地发动了三路围攻。在作战的第一个月中，红四方面军收缩阵地，国民党军虽占巴中、南江两地，却付出了近8000人伤亡的代价，士气大挫。红四方面军达到了迟滞和消耗敌人的目的。敌人经过一个月的休整、补充，不久又发动全线进攻。红四方面军在徐向前的指挥下，集中兵力，诱敌深入，放弃通江，退到通江以北地区。敌人竟以为红四方面军“溃不成军”，再次展开全线进攻。红四方面军再次完成了收紧阵地的任务。此时，红四方面军集中主力部队，在老林中开辟道路迂回敌之侧后，出其不意，一举在余家湾击溃敌人主力。经过战胜敌人三路围攻的胜利战斗，群众的革命热情空前高涨，到处呈现出一派欣欣向荣的景象。红军也得到了大大地补充，地方武装也随之建立起来了。

    收紧阵地的战法是徐向前的一个创新。它是一种有阵地依托的诱敌深入，是节节抗击的诱敌深入。根据实际情况确定作战方针，完全符合马克思主义的军事辩证法。　粉碎了敌人三路围剿后，红四方面军在木门召开军事会议，总结了粉碎围攻的经验教训，并提出整编队伍，加强队伍，提高战斗素质，为粉碎敌人的新围攻和发展川陕根据地作好准备。会后，红四方面军扩编为四个军。徐向前任总指挥。

    1933年11月至1934年8月底，红四方面军连续发起了三次进攻战役，即仪南战役、营渠战役、宣达战役，又一次粉碎了敌20余万人的六路围攻，取得了歼敌8万余人的辉煌战绩。田颂尧等部受到了沉重打击，川陕根据地进入全盛时期。

    1934年，中央红军因第五次反“围剿”失败，开始了战略转移。消息传到红四方面军，领导人都深为震动。徐向前纵观全国红军的处境，感到中国革命又处在一个严重困难的关头。他期望中央红军行动顺利，也为红四方面军的前景担忧。川陕苏区虽取得了辉煌的战绩，但经过十个月的战争消耗，徐向前和他指挥的红军面临着严峻的考验——兵员、物力、财力短缺，大巴山下到处是荒芜的土地，伤寒、痢疾等疾病威胁着人们的生命。在这样严峻形势下，徐向前果断提出下一步的行动计划，即依托老区，发展新区，以打击胡宗南部为主要任务，夺取甘南成县、康县等地区，将川陕根据地发展为陕川甘根据地。徐向前提出更改战略计划，着眼于：川、陕、甘边的胡宗南部战斗力较强，但同四川军阀和陕南西北军均有矛盾，处境孤立。该部又是蒋介石的“川陕会剿”的嫡系主力部队；甘南等地位于汉水和白龙江流域，人口较多，也较富庶，利于红军摆脱眼前的物资和兵员问题；依托老区，向川陕甘边发展，进退自由，回旋余地大，不致造成后方作战的危险。于是，红四方面军趁胡宗南部刚入川，立足未稳，先取广昭，发动了广昭战役。同时，红四方面军为了配合中央红军的作战，在严重关头，徐向前率部队强渡嘉陵江，冲破了“川陕会剿”的敌军拦截，在川西懋功与红一方面军胜利会师。两军会师后，徐向前忙于打开北进的通道，这时党内出现了严重的分歧：张国焘不满中央的北进方针，强令四方面军南下。经劝说无效，党中央率红1、3军团单独北进，徐向前不忍目睹四方面军一分为二，遂率右路军随张国焘踏上生死未卜的南下之路。在南下的岁月里，徐向前与朱德等同志同张国焘的错误路线进行了有理、有节的斗争，最后在共产国际的帮助下，张国焘不得不同意北上。1936年6月，红二、四方面军在甘孜地区会合后共同北上。10月9日，徐向前率部抵达甘肃会宁，与红一方面军会合，红军三大主力在会宁胜利会师。此次会师，标志着胜利结束了长征，在中国革命史上揭开了新的一页。

    1936年10月，红军三大主力会师后，为实现打通苏联道路之目的，奉中央军委的命令，徐向前率红军第9军、30军、5军强渡黄河，直取宁夏，后因苏联物援受阻，中央决定放弃取宁夏计划，命河西部队组成西路军，徐向前任总指挥，伺机进取新疆，接应苏联外援。不久，西路军于河西走廊遭反动军阀“马家军”重围，徐向前指挥西路军孤军奋战四个月，终因弹尽粮绝，兵败祁连山下。此次西征是一次无后方依托的孤军征战。徐向前率西路军于河西走廊上上演了一部悲壮之歌。

    1937年7月7日，卢沟桥事变爆发，日本帝国主义全面侵华战争开始了。徐向前为“七七事变”的枪声所震动。卢沟桥的一声枪响，民族仇恨超越了阶级对立，他积极拥护中共中央确定的国共合作、建立民族统一战线、共同抗日的方针，决定放下旧仇，共雪民族之大耻。在8月召开的洛川会议上，红军改名为“国民革命军第八路军”，徐向前任129师副师长。会后，毛泽东对徐向前说：“你是山西人，和阎锡山是同乡，下一步，你和周恩来同志去太原，做做阎锡山的工作。”这样，徐向前随同周恩来、朱德、彭德怀等人来到了太原。徐向前和周恩来一样，夜以继日地工作，会见各界人士，深入群众，利用一切机会宣传共产党的抗日主张，在周恩来领导下，同阎锡山的谈判进展顺利。阎锡山同意成立第二战区民族革命战争动员会，并答应为八路军建立晋察冀抗日前线提供方便。从此，徐向前与刘伯承、邓小平一道，大刀阔斧地展开了创建以太行山为依托的晋冀豫抗日根据地的工作。在三个月的时间里，取得了显著成绩：建立了抗日民主政权，迅速发展了抗日武装，积极开展游击战，打击了日军的嚣张气焰。在刘伯承、邓小平、徐向前的领导下，129师先后取得了凤凰山战斗、长生口伏击战、神头岭战斗、反六路围攻、响堂铺战斗和晋东南反九路围攻战役的胜利，累计歼敌近7000人。战后，日寇被赶出了晋东南，以太行山区为中心的晋冀豫抗日根据地基本形成了。

    1938年4月，毛泽东给刘伯承、邓小平、徐向前发了电报，要他们在河北平原开展游击战争。徐向前接受了任务，告别了刘伯承、邓小平，率部队挺进冀南，来到了一马平川的河北大平原。徐向前从戎十余载，多在山区转战，对山地的作战指挥可说已驾轻就熟。来到大平原后，没有了大山的依托，游击战争怎么展开是摆在徐向前和战士前面的一个新课题。徐向前并没有被困难吓倒。他亲自调查冀南的民情、民俗，找干部、群众谈话，并与宋任穷、刘志坚等领导人研究如何开展平原游击战争问题。最终他与干部的思想不谋而合：人民群众才是最高的山，最大的森林，要坚持抗战，要生存发展，就要依靠人民群众，在平原上造“人山”。徐向前写了《开展河北的游击战争》一文，阐述了建立“人山”的思想。这是一篇开展平原游击战争的精辟论著，处处闪烁着毛泽东军事思想的光辉。它不仅对冀南有直接的指导作用，也为全党提供了坚持和发展平原游击战争的重要经验。

    徐向前在冀南一年多的时间里，与宋任穷、刘志坚、杨秀峰等同志亲密合作，打开了冀南的抗日局面，妥善处理了许多复杂问题。根据地发展到西起平汉路、东至运河、南起豫北、北至滹沱河以南的广大地区，人口逾800万。