1928年5月，南昌起义、湘南起义部队与秋收起义的队伍在井冈山胜利会师，组成中国工农革命军第四军。陈东日调任第十一师三十二团党代表。

　　三十二团是袁文才、王佐领导的井冈山地方武装，毛泽东在率领湘赣边秋收起义队伍上井冈山后，将其改编成为革命军。两军会师后，毛泽东、朱德根据陈东日的斗争经历和成熟的政治、军事才干，决定叫他继何长工负起这个团政治领导的重任，还从湘南农军中抽调了200名干部、战士加强这个团。毛泽东特意交待陈东日:罗宵山中段是我们的落脚点，要在这里建立根据地，就必须团结、教育、依靠地方武装，否则，我们就会站不住脚。三十二团的主要任务就是防守根据地。

　　三十二团有两个营。团长兼一营营长袁文才，参加过大革命，是经过斗争锻炼的中共党员。山上的部队是二营，主要是王佐旧部，士兵强悍，爬山如虎，绿林作风也较浓。陈东日首先到二营，以坦诚的襟杯和热情的工作，很快取得“南斗哥”王佐和广大士兵的信任。他和湘南来的同志一起，引导士兵们回顾过去的苦难历程，消除“土籍”与“客籍”的矛盾，提高他们为劳动阶级而斗争的觉悟。在陈东日带动下，部队学唱歌，学演戏，开展正规的军事训练，废除军队内部打人骂人的旧习。他还特别重视在部队健全中共组织，培养军事干部，如徐彦刚、房灿、宋任穷、张际春、曹里怀、孙鹤一、张国华等，都是这一时期里先后从三十二团成长起来的干部。部队有了革命思想的引导，注入了新的生命力，官兵的精神面貌焕然一新。

　　国民党湘赣驻军接二连三地对井冈山根据地进行“会剿”。6月22日，红军决定在七溪岭一线歼敌，陈东日与袁文才率三十二团先侦察敌情，然后，又率一支小分队从竹老冲出发，经庄元埋伏于白口附近的武功山。当二十八团在老七溪岭上与敌人的战斗打响后，陈东日即指挥小分队迅速袭击白口的敌前线指挥部。埋伏于附近各个山头的永新、宁冈两县地方武装，也如潮水一般扑向敌人，敌人的“前线指挥”杨如轩胳膊上挨了一枪，见势不妙，慌忙逃命。随后，陈东日率队插进老七溪岭侧翼，切断敌人补给线，有力地配合了主力部队的战斗。最后，红军主力在龙源口全歼国民党军两个团，直取永新城。

　　8月中旬，毛泽东在永新九波山得悉红军主力在湘南失利的消息后，立即率三十一团第三营前往湘南迎还红军主力，由陈东日和袁文才带三十二团与三十一团一营留守井冈山，保卫边界。国民党军乘红军主力远征湘南未归之机，纠集4个团兵力，乘虚围困井冈山。井冈山形势极为严峻。陈东日和袁文才、王佐与三十一团的朱云卿、何挺颖及住在小井医院养伤的张子清、陈伯钧等共同研究破敌之术。他们以三十一团一营和部分赤卫队守护黄洋界哨口，对付湘敌的进攻；袁文才率三十二团第一营和宁冈地方武装，在茅坪一带牵制江西方向来的敌人；三十二团二营及特务连由陈东日、王佐指派驻守珠砂冲，桐木岭、双马石、八面岭等哨口，并警戒白泥湖、罗浮通永新之路。

　　一天，陈东日在检查布防时，见一个小战士背着一块“中国共产党湘赣边界特委会”木牌在筑战壕，好生惊奇。这个小战士告诉陈东日:他叫张桂庭，在茅坪攀龙书院的特委机关里站岗，“白狗子来了，我背上特委的牌子跟袁团长上山来，等红军哥哥赶跑他们，我再把牌子挂到攀龙书院去继续干。”

　　陈东日很受感动，便四处鼓动战士们和山里的老俵说:“井冈山里曾流传一句俗话:不要会打仗，只要会‘钻圈’；我们今天会钻圈，也能打仗，还有毛委员的‘敌进我退，敌驻我扰，敌退我追，敌疲我打’十六字妙诀，一定能守住这个革命大本营。”

　　8月30日拂晓，国民党军两个团从山下仰攻黄洋界，爬到半山腰时，进入红军设下的竹钉阵。陈毅安营长一声号令，红军枪炮齐发，檑木滚石亦飞腾而下，敌人溃逃无路，死伤遍地，哀号连天。但敌军自恃人多武器好，不断集结军队，向哨口猛攻，炮火一次比一次猛烈。战斗十分激烈。大井赤卫队长邹文楷把一门刚修好的迫击炮送上哨口，神炮手谭希林瞄准山下敌人的指挥所，轰隆一声巨响，炮弹在敌人指挥所中心开花，国民党军惊慌失措。这时，陈东日指挥部分红军和赤卫队，已从黄洋界后面山上的许多山头，摆开了疑兵阵。刀枪耀目，红旗漫舞，鼓角齐鸣，鞭炮、土铳声音震天。敌军不明虚实，认为红军主力真地回来了，连夜狼狈遁逃。

　　不久，毛泽东迎还红军主力回到井冈山，得知军民协力取得了黄洋界保卫战的胜利，非常高兴。毛泽东拉着陈东日和袁文才、王佐等人的手连连夸道:“你们守山的红军是立了功的，兵力那么少，打得这么好！”又特地对陈东日和三十二团的部分湘南籍官兵说:“你们没有跟着起哄去打湖南，保卫了井冈山，你们是有功的。”