黄伯尧1896年出生于广西凤山县平乐乡力那村巴关屯的一个贫苦农民家庭，1921年田南道（百色）师范讲习所毕业回到家乡，1922年参加韦拔群在东兰举行的银海洲革命同盟会，在韦拔群的帮助下，组织进步青年在时属凌云县的平乐、巴轩（中亭）牙里（金牙）区和时属百色二都区的江洲、相圩、维新等地宣传革命真理，秘密组建农民武装；1925年参加东兰广西农民运动讲习所学习，回来在家乡发动农民革命运动。在他的领导下，平乐、巴轩、牙里三区和百色二都区的绝大部分乡村农民协会，农民自卫军组织相继成立。1927年，建立了凌云县农民协会和农民自卫军，亲任县农民协会主席，农军总指挥，率领农民武装打击地方土豪劣绅，平乐、巴轩、牙里的土地革命运动蓬勃发展，革命圣火燃烧凌云东部。1929年6月，经韦拔群介绍，黄伯尧加入中国共产党组织，是凤山最早的共产党员之一。百色起义前夕，黄伯尧率领平乐农军打击境内桂系地方驻军和反动势力，攻占凌云县城，策应百色起义暴动。同年12月，黄伯尧率领农军参加百色起义。回来后，组建中共凌云县特支和凌云县赤卫军常备营。1930年2月，在中共东兰县委领导黄举平的帮助下，凌云县苏维埃政府在平旺村成立，黄伯尧任主席。同年春，邓小平、韦拔群指派韦菁（韦拔群胞弟）到中亭进行土地“分耕”试点，黄伯尧组织李天心、劳必根等人配合韦菁在中亭工作，试点获得成功，为右江地区土地改革提供了经验。在根据地反“围剿”斗争中，面对数十倍于我的强敌，黄伯尧组织红军、赤卫军采取灵活的游击战术，利用运动战、夜袭战歼灭敌人。他足智多谋，在关键时刻，利用桂系军阀和黔军的内部矛盾，制造假信使黔军哗变，敌军自相残杀，黔军败退潜逃，极大地缓解了东兰、凤山红军的压力，大长了根据地军民的意志。

    1932年桂系军阀及地方民团继续出兵围剿东凤革命根据地，红军据点继而失守，右江革命主要领导人韦拔群、陈洪涛相继牺牲，根据地丧失，东凤革命进入低潮。在危急关头，黄伯尧力挽狂澜，遵照中共右江特委、独立师党委的会议决定，以平乐为立足点，整顿幸存下来的中共海亭、力那、洪力、中亭支部，组织党员继续地下革命活动，坚持斗争。1932年底，他带领部分共产党员和红军人员向黔桂边发展新区，在中共黔桂边委书记黄举平的领导下，出色地做好黔西南实力派的统战工作，争取革命力量，使黔桂边的党组织和革命队伍得到当地百姓的支持帮助，黔桂边革命工作不断开展。黄伯尧在任黔桂边委组织工作中，接受组织的安排，辗转平乐、天峨、乐业、罗甸、望谟、册亨、贞丰、紫云一带宣传革命真理，发动群众抗暴，打击反动势力，为创建贵州省黔西南革命根据地打下了坚实的基础。