1938年3月底，在晋西北抗日根据地逐步建成后，毛泽东同志和中央军委多次致电贺龙、关向应等，询问、探讨在大同以北地区建立敌后抗日根据地的可能性。经过反复研究，毛泽东同志在5月14日作出《关于沿大青山脉建立游击根据地的指示》，提出八路军“在平绥路以北，沿大青山脉建立游击根据地甚关重要”，并请朱德、彭德怀、贺龙等人“迅即考虑此事”。

    大青山位于现在的内蒙古自治区境内的阴山山脉中段，东西长约350公里，南北宽约50公里，是一条纵贯东西的庞大山脉，在抗战时期这一地区主要归属绥远省。从地理位置上看，大青山具有极高的战略价值。一方面，它位于陕甘宁边区和晋西北抗日根据地的北面，是当时党中央所在地的重要门户；另一方面，大青山东连集宁、西抵包头，是连接国内与蒙古、苏联的重要陆上通道。因此，控制住大青山，既可以保卫党中央和陕甘宁边区，又可以通过此地与苏联进行联系，对开展华北地区乃至全国的抗战行动都大有裨益。

    日军在发动全面侵华战争后，觊觎大青山一带的特殊地位，并企图利用此地蒙汉民族杂居等民情特点建立亲日的傀儡政权，奴役当地群众、掠夺资源，把这里变成他们“以战养战”的前方基地。有鉴于此，八路军总部经请示中共中央，决定由第120师率先派出部分力量，挺进大青山，建立抗日游击根据地。

    顽强北进，两出杀虎口

    1938年6月下旬，第120师抽调第358旅第715团为主组成大青山支队，作为挺进大青山的主要力量，由该旅政治委员李井泉任支队司令员兼政治委员。7月中旬，为充实北上兵力，战动总会抗日游击第4支队在军事上划归大青山支队指挥。第4支队的前身，是由山西太原成成中学师生组成的抗日游击队。虽然他们没有经过长期、系统的军事训练，但是这支队伍成员的文化水平普遍较高、可塑性强，师生的爱国热情高涨、作战勇敢，是敌后不可多得的抗战生力军。除这两支战斗力量外，战动总会在山西岢岚组建了战动总会晋察绥边区工作委员会，还抽调人员组成干部队，随时准备同部队一起出征大青山。

    7月29日，大青山支队誓师出征，正式踏上北进征途。出发当日，大青山支队3营作为先遣分队，快速从杀虎口突破敌人在长城南北地区的防线，直入绥远凉城境内。八路军的突然出现，让盘踞在当地的日伪武装大为惊恐，他们马上调集数千兵力，企图把大青山支队消灭在长城脚下。由于敌人严密控制着多条交通要道，且此次北上的官兵大多是南方人，对北方的气候、水土不适应，战斗力有所削弱，支队领导决定分路突围，先保存有生力量，再择机向大青山进发。

    8月中旬，大青山支队再次从杀虎口北上。这一回，部队吸取上次暴露目标的教训，采取昼伏夜出、快速行军的办法突破敌人封锁区，于9月1日抵达归绥（今呼和浩特）、武川、集宁一带，初步完成进军任务。在此期间，支队1营在参谋长姚喆带领下转战蛮汗山，一面为主力部队突破平绥线提供掩护，一面将此地作为沟通晋西北抗日根据地的重要中转场所，不断接收转运至此的大批军用物资。至10月初，支队1营也越过平绥线，在速勒图一带与主力会合，圆满完成挺进大青山的任务。

    重拳出击，三战大青山

    由于在全面抗战爆发之时，驻守绥远的国民党军就南撤到山西境内，导致大青山一带在短时间内沦为敌占区。侵华日军已在此地经营多时，沿公路、铁路线建立多个伪政权组织，培植汉奸势力，鼓动民族分化，借此削弱抗战力量、奴役当地群众。长期处于剥削压迫之下的当地群众，情绪极为消沉。八路军进入大青山之初，部分群众甚至闭门不见或避战进山，给创建根据地的工作带来很大困难。支队领导经过研究，决心先打几个胜仗，以亮明身份、鼓舞士气，同时打击敌人的嚣张气焰，增强群众的斗争信心。

    9月3日，李井泉率领支队2营、3营向集宁附近的陶林进发。陶林是这一地区的重要城镇，也是集宁以北最大的经贸中心，有日军1个中队、伪军3个中队在此驻防。为达成进攻的突然性，并快速实现破敌战果，李井泉命令部队在午夜时分发起进攻，首先打击战斗力较弱的伪军。果然，城中伪军一听枪响，溃不成军、四散奔逃，我军迅速将碉堡内的日军中队包围，准备组织强攻。就在此时，侦察员报告集宁日军已经出城，李井泉当机立断，命令部队快速打扫战场、撤出战斗。

    首战陶林，虽未大量消灭日军，但打出了大青山支队的声威，也缴获了一批武器装备和军需物资。

    9月10日，支队主力转战至乌兰察布乌兰花镇，几乎将镇中的伪蒙军1个加强连和四子王旗保安队一部全部生擒，并缴获战马100余匹。随后，部队在乌兰花地区展开抗日宣传，不仅当地群众大受鼓舞，纷纷支持八路军，就连四子王旗的伪组织也派人与八路军取得联系，表达愿意配合抗战的意愿。为团结当地各方势力，建立广泛的抗日民族统一战线，支队决定释放被俘的伪蒙军和保安队，伪组织也表示“将严守中立，绝对不打八路军”。

    乌兰花战斗之后，支队官兵严守“三大纪律、八项注意”，即便寒风凛冽、衣着单薄，也不入民宅，对群众秋毫无犯。很快，大青山支队官兵的良好声誉在草原上广为流传，当地群众纷纷慰问部队官兵。9月下旬，在群众支持下，支队2营奇袭大青山中段要隘蜈蚣坝，并采取围点打援的战法诱使归绥日军前来救援。2营在日军必经之路上布设口袋阵，待日军车队进入后先把头尾车辆击毁，使敌首尾不能相顾，再发起猛烈冲锋，仅用25分钟就全歼了这股日军，取得大青山抗日游击根据地建立以来的一场重要胜利。

    因地制宜，建强骑兵队

    大青山地区的地形相对平坦开阔，村落、集镇比较稀疏，不利于实施徒步游击作战。1938年冬，为增强部队机动性、提升战斗力，李井泉向党中央报告了组建骑兵部队的想法，立即获得中央的肯定和支持。然而，想要打造一支战斗力强大的骑兵部队，有两个比较突出的困难，一是大青山支队缺少足够的战马，二是大部分官兵都没有喂养马匹、骑马战斗的经验。

    为解决马匹短缺的困难，支队决定从内外两个方面着手。对内，主要是通过动员当地群众，向部队捐赠或低价出售马匹。由于前期的宣传动员工作扎实有效，当地群众一听说八路军要建立骑兵部队，就自发赶着马匹捐赠部队，部分群众更是不顾个人安危，潜入归绥城内采购鞍具等，为支队补充骑兵战斗器材。对外，就是通过作战缴获敌人的马匹。大青山支队发动分散在各地区的营、连，主动攻击当地的土匪武装，一来可以减轻他们对当地群众的迫害，二来可以缴获他们的战马充作军用。比如，1939年1月底，驻扎在绥南的大青山支队一部，将此地的土匪悉数歼灭，缴获战马100余匹。

    至于缺少喂养马匹的经验，大青山支队的官兵向当地牧民虚心求教，向他们学习喂马、骑马和驯马的方法，还向兽医请教养马常识和钉马掌方法。不到两个月时间，不少基层指战员都熟练掌握了喂马养马。支队官兵还充分发挥集体智慧，掀起群众性练兵的热潮，重点对骑兵战术进行深入学习和研究，在短时间内掌握比较系统的骑兵作战技能。1940年2月，经中央军委批准，大青山支队正式改名为大青山骑兵支队。1940年5月，日军调集重兵，对游击根据地展开“据点”分区式的搜剿。骑兵支队利用自身机动性强的特点和山区有利地形，与敌人进行周旋，并在时机成熟时接连在绥西一带打了两次漂亮的伏击战。围攻之敌在找不到我军主力，且自身疲惫受损的情况下，灰溜溜地撤回据点。大青山骑兵支队在战斗过程中，逐渐成长为一支驰骋在草原上的强大机动作战力量。