１９３１年夏，邓小平到达江西中央革命根据地，先后担任瑞金县委书记、会昌中心县委书记、江西省委宣传部长。这时，推行“左”倾冒险主义的中共临时中央从上海迁入中央革命根据地。邓小平同毛泽覃、谢唯俊、古柏等一直坚持从实际情况出发，执行以毛泽东为代表的正确路线。他们反对“城市中心论”，主张向敌人力量薄弱的广大农村发展；反对军事冒险主义，主张诱敌深入；反对用削弱地方武装的办法来扩大主力红军，主张两种武装力量都要发展；反对“左”的土地分配政策。临时中央开展了对邓、毛、谢、古的斗争。邓小平被撤销省委宣传部长的职务，受党内最后严重警告的处分，被派往中央苏区边远的乐安县所属南村区委当巡视员。这是他在党的政治生活中受到的第一次错误处分。后来，在军委政治部主任王稼祥等人的支持下，被调到总政治部担任秘书长。不久，负责主编总政治部机关报《红星》报。

　　１９３４年１０月，邓小平随中央红军长征，年底任中央秘书长。１９３５年１月，他参加了在中国共产党历史上具有伟大转折意义的遵义会议，会议确立了以毛泽东为代表的新的中央的正确领导。红一、四方面军会合后，他担任红一军团政治部宣传部长。后任红一军团政治部副主任、主任。

　　１９３７年，日本帝国主义向中国发动了全面的侵略战争。大敌当前，国共两党实现了第二次合作。中国工农红军改编为国民革命军第八路军。１９３７年８月，邓小平任八路军政治部副主任，奔赴华北抗日前线。１９３８年１月，任八路军一二九师政治委员，师长是刘伯承。

　　邓小平和刘伯承率一二九师深入日本侵略军占领区的后方，以太行山为中心，依托山区，并向平原发展。他们率部进行了一系列战斗，在太行山站稳了脚跟后，分兵发动群众，组织抗日武装，建立抗日民主政权，创建了晋冀豫抗日根据地。接着，又率部越过平汉铁路，东进冀南平原，开辟了冀南抗日根据地；还先后建立了太岳和由鲁西等根据地合并而成的冀鲁豫抗日根据地。抗日战争进入相持阶段后，１９３９年１２月，国民党顽固派发动了第一次反共高潮，向八路军总部和一二九师所在的太行地区发动大规模军事进攻。１９４０年３月，刘邓指挥部队，在晋察冀军区部队的配合下，奋起反击，全歼进攻太行地区的国民党顽固派军队一万余人。为粉碎日军对华北抗日根据地的“扫荡”，打击日军的“囚笼政策”，从１９４０年８月起，八路军向华北日军占领的交通线和据点发动了大规模的破击战役，即“百团大战”。刘邓率领所部３８个团参加，进行大小战斗五百余次，给日、伪军以很大打击。

　　从１９４１年开始，华北敌后抗战进入了最艰苦的阶段。１９４２年９月，邓小平兼任中共中央太行分局书记。彭德怀、刘伯承回延安参加整风后，他于１９４３年１０月代理中共中央北方局书记，并主持八路军总部的工作，在艰苦的条件下，担负起领导华北敌后抗日根据地党政军的全面工作。他本着面向敌占区、面向交通线、敌进我进的方针，积极主动地开展游击战争，指挥部队粉碎日、伪军一次又一次的残酷“扫荡”，并领导全区进行建党、建军、建政活动，进行整风、精兵简政、减租减息和大生产运动，取得很大成绩。邓小平从实际情况出发，发表了《党与抗日民主政权》、《一二九师文化工作的方针任务及其努力方向》、《五年来对敌斗争的概略总结》、《太行区的经济建设》、《在北方局党校整风动员会上的讲话》等文章和讲话。他提出了对敌斗争的一系列具体的政策和策略，提出了从各方面积蓄力量、为战略反攻和战后建国作准备的方针。他在北方局党校的整风动员会上所发表的讲话，指出毛泽东思想即中国化的马克思列宁主义，党的事业要以毛泽东思想作指导。１９４５年６月，邓小平在党的第七次全国代表大会上当选为中央委员。１９４５年８月日本投降时，他和刘伯承率部开创的太行、太岳、冀南、冀鲁豫四块根据地已基本上连成一片，成为拥有２４００万人口、３０万军队的全国最大的解放区。同月，中共中央决定成立晋冀鲁豫中央局和晋冀鲁豫军区，邓小平任中央局书记和军区政治委员，刘伯承任军区司令员。