五原誓师后，为了改造这支旧军队，刘伯坚帮助冯玉祥整顿军队，严明纪律，废除旧军队中打骂士兵的恶习，提倡官兵平等，提出革命政治化、军队与民众相结合、辅助工农运动等口号。每逢部队重大集会，他都去讲演，向广大官兵宣传马列主义，灌输革命思想。平时他经常深入到连队，和广大士兵及下层军官打成一片，像普通战士一样找他们一起散步谈心，教唱革命歌曲，从而得到了官兵的爱戴，在国民军联军中享有很高的威信。

    在改造这支部队的过程中，刘伯坚参照苏联红军的建军方式，在联军内建立起各级政治工作机构。在总政治部设立组织、宣传、总务三大处，总部以下的各军、师、旅、团、营也分别设立了政治工作机构。随着形势的发展，由于部队严重缺乏政治工作人员，刘伯坚写信给中共北方区委，要求派政治工作人员来联军工作。中共中央和中共北方区委在很短的时间内，先后从莫斯科、北方区委、黄埔军校等地抽调200余名优秀中共党员，到联军各部队中担任重要职务。

    当时，冯玉祥采纳了中国共产主义运动的先驱和最早的马克思主义者、中共的主要创始人之一即时任中共北方区委书记李大钊的建议，制定了“固甘、援陕、联晋、图豫”的八字作战方针，将部队由绥远向西安集结。11月28日，国民军联军总司令部和总政治部也由绥远移驻宁夏（今宁夏回族自治区），就住在宁夏府城(今宁夏银川市老城)清末民初将领、马家军的知名领袖马福祥的原参谋余鼎铭的宅院里（原银川市第一中学北院）。

    期间，刘伯坚组织国民军联军司令部和总政治部在驻地举办马列主义训练班，吸收五中八师（即当时合用一个校址的甘肃省立第五中学和甘肃省立第八师范学校，后改为宁夏省立笫一中学和宁夏省立第一师范学校）学生和其他进步青年参加。刘伯坚亲自为学员讲授《共产党宣言》、《社会主义概论》《劳工神圣》、《共产主义ABC》、《国家与革命》及孙中山的《新三民主义》等，这是马列主义在宁夏的最早传播。同时，刘伯坚在国民军联军总政治部办《中山日报》，社址在玉皇阁，社长是中共党员贾午，还从绥远《实业日报》调来中共党员郭伯瑞、贾一中（李子光）充实报社力量。《中山日报》原名《西北日报》，1925年在包头创办，由中共党员蒋松亭任社长。五原誓师后，改名《中山日报》，迁至宁夏府城，《中山日报》积极宣传国民革命和北伐战争的意义，宣传孙中山联俄、联共、扶助农工三大政策，介绍俄国十月革命的经验；《中山日报》还大张旗鼓地宣传民主、科学思想，尖锐地抨击封建专制，为改变宁夏的落后而大声疾呼是中国共产党的重要舆论阵地。

    12月，冯玉祥在宁夏府城召开各界人士会议，刘伯坚在会上讲话，明确支持群众的革命活动。会后，在以刘伯坚为首的共产党人的领导下，中共宁夏特支（在冯玉祥总部移驻宁夏府城前已建立）组织群众集会、灯火晚会。

    在刘伯坚的组织领导下，特支发展当地人白虹剑、叶松龄、征克非等为中共党员，还在新华东街成立了中山俱乐部，陈列各种进步书刊。从此20世纪中国重要作家、新文化运动的领导人、现代文学家、思想家、革命家鲁迅，无产阶级文学的先驱者、革命作家、诗人蒋光慈，现代文学理论批评家﹑文学史家﹑作家钱杏邨，中国卓越的新闻记者政论家、出版家邹韬奋等人的书籍开始出现在宁夏府城。在宁夏府城，刘伯坚以其卓越的组织领导才能，带领国民军联军中的共产党人和进步分子通过一系列的活动，传播了革命真理，培养先进分子，为宁夏人民日后的革命斗争奠定了思想基础和组织基础。

    1927年4月，蒋介石发动反对中共的“四一二”政变，时冯玉祥也公然投靠蒋介石。冯玉祥开始反共清党，将刘伯坚等240余名中共党员“礼送”出境。

    组织领导“宁都起义”。离开冯玉祥部后，刘伯坚任中共湖北省委组织部长、中共江苏省委常委、宣传部长等职。1928年，中共组织再次派刘伯坚与后成为军事家、中华人民共和国开国元帅刘伯承等赴苏联莫斯科军政大学和伏龙芝军事学院学习军事，并出席了中共第六次代表大会。

    1930年，刘伯坚从苏联回国到上海，翌年又进入江西中央苏区工作，任中央军事政治学校政治部主任、中共中央军委秘书长，曾当选为中华苏维埃中央执行委员。

    此时，蒋介石将中原大战中被他打败收编的冯玉祥西北军主力第二十六路军调到江西“剿共”，并由国民党中央军在后面督战。这种“一石两鸟”的毒计激起西北军官兵极大愤慨。中共中央军委马上派刘伯坚主持策反工作。

    1931年12月，蒋介石调集数十万兵力，对革命根据地进行第三次“围剿”，国民党第二十六路军奉命进占宁都。该军前身是西北军的一部分，刘伯坚和许多共产党员在这支部队做过政治工作，中国共产党的政治主张在广大官兵中有深刻的影响。在宁都，该军中的中共党员刘振亚、袁汉澄、王铭伍等人在部队秘密成立中共支部，寻找党组织，策划“宁都起义”。12月14日，在刘伯坚的组织领导下，国民党二十六路军起义成功。该军总部和两个师部、六个旅部、十一个团，还有几个独立营和直属部队，全部参加了起义，共1．7万余人浩浩荡荡地开进中央苏区。12月16日在欢迎和命名大会上，刘伯坚代表中华苏维埃共和国临时中央政府宣布，授予起义部队以中国工农红军第五军团的番号，任命季振同为红五军团总指挥，董振堂为副总指挥兼十三军军长，赵博生为红五军团参谋长兼十四军军长，黄仲岳为十五军军长，颁发了中国革命家、战略家、理论家、诗人而时任中国工农红军第一方面军总政治委员、中华苏维埃共和国临时中央政府主席毛泽东和革命家、政治家和军事家而时任红一方面军总司令、红军总司令、中央革命军事委员会主席朱德亲笔签名的委任状。刘伯坚策划指挥这次起义有功，被中共中央任命为红五军团政治部主任。

    “我为中国作楚囚”。 1934年10月中央红军主力长征时，刘伯坚由于受王明“左”倾错误的排斥，被迫离开红五军团，奉命留在中央苏区坚持武装斗争，任赣南军区政治部主任，他积极组织留守部队，在雩都河多处架桥，为主力部队做好后勤保障工作，护送中央红军主力渡河长征。刘伯坚与陈毅、陈丕显等一起领导留在根据地部分武装力量，进行游击战争。

    中央红军渡河长征的那晚月光下的雩都河岸上，一阵“得得”的马蹄声传来。刘伯坚顺眼望去，见队伍前面，是时任军委第一纵队司令员而后成为军事家、中华人民共和国开国元帅的叶剑英，和当时因反“左”倾路线刚被免了中央军委总参谋长的红军高级将领刘伯承信马由缰徐徐走来。刘伯坚飞步跑上前去，叶剑英和刘伯承也跃下马背，三人相见有说不出的喜悦。队伍在他们身边像潮水般涌向前去，叶剑英对刘伯坚说：“中央红军这次西进，困难不少，你们留在苏区也不见得轻松。”刘伯承说：“红军走后，敌人会更加疯狂地蹂躏中央苏区，你们的担子更重了。”刘伯坚说：“是啊，我们做好了艰苦奋斗的准备，我预计三两年后，我们会重逢的。”叶剑英和刘伯承都笑着说：“但愿如此。”三人边说边踏上浮桥，走了好一段路，终于要分手了，叶剑英、刘伯承握着刘伯坚的手说：“再见，伯坚同志，请多保重。”刘伯坚双眼噙满泪水，向叶剑英和刘伯承挥手告别。此时的他有多少战友情想对两位老战友倾诉，有多少知心话要像在瑞金共事时一样促膝谈心，彻夜共商？望着战友们渐渐远去的背影，眼泪从刘伯坚的脸颊上滚落下来。

    新中国成立后，叶剑英曾赋诗怀念当年刘伯坚雩都河惜别之情：

红军抗日事长征，夜渡雩都溅溅鸣。
梁上伯坚来击筑，荆卿豪气渐离情。

    20万国民党军队将留下的3万红军（半数系不能远征的伤病员）压缩到赣南一隅，中共中央分局书记项英在几个月后才接受陈毅的建议，下令分路突围，开展游击战，可惜为时已晚。

    1935年3月4日，留在苏区的部队遭国民党军重重围攻。7日，赣南军区机关部队从雩都（今江西于都县）南部山区向南突围，在雩都县祁禄山地区被国民党粤军包围，刘伯坚指挥突围。刘伯坚率领中共赣南省委机关在信丰、雩都交界的牛岭与马岭之间突围战斗中，不幸身中数弹，左腿负伤，至安远县唐村乡鸭婆坑的山中落入国民党粤军魔掌（刘伯坚遗书称是在江西信丰县唐村被粤军俘虏）。同他一起被俘的还有赣南军区政治部秘书廖昔昆等4人。

    刘伯坚被俘后的第二天，先被押送到国民党大庾（今江西大余县）粤军第一军第一师第一团团部。此前，蒋介石为了一网打尽我党留下坚持斗争的军政领导，曾以5万光洋悬赏缉拿陈毅、刘伯坚等人，照片发至国民党军官兵手中。刘伯坚被俘后，立即被国民党军的人认出身份。国民党粤军团长李振劝刘伯坚要顺应“潮流”，“识时务者为俊杰”，说什么以他这样的才华“留得青山在，不怕没柴烧”，只要他暂时办个脱党手续，便可得到“自由”和“重用”，不必去为共产主义犯这么大的危险，作“无谓的牺牲”。刘伯坚却大义凛然地阐述了当时国内外的革命形势和一个共产党人应有的气节。他说：“我干革命就是顺应历史潮流，要干革命就得有危险。没有危险就没有革命，没有牺牲就没有工农大众的解放……”这个粤军团长李振后来对人说：“刘伯坚这个人，真不愧是特殊材料制成的共产党员！

    1935年3月9日，刘伯坚被从赣县韩坊乡小坋村押送到大庾国民党粤军第一军军部，囚禁在大庾监狱。3月11日，国民党粤军为了“炫耀”其所谓胜利，故意将负伤带镣的刘伯坚从大庾监狱押往设在县城的国民党第六绥靖区绥靖公署提审。当时，国民党划分全国为若干绥靖区，在区中心城市设绥靖公署，负责指挥国民党军队进攻红军和苏区。每一绥靖公署下也设有分片的绥靖区（绥区）。在重兵押送下，刘伯坚被敌人戴上手铐和钉上沉重的脚镣游街。他镇静自如，气宇轩昂，昂起头，从容地从大庾县城繁华的大街——青菜街走过。当天晚上，刘伯坚怀着对敌人的满腔怒火，在狱中写下了气吞山河的不朽诗篇《带镣行》：

带镣长街行，蹒跚复蹒跚；
市人争瞩目，我心无愧怍。
带镣长街行，镣声何铿锵；
市人皆惊讶，我心自安详。
带镣长街行，志气愈轩昂；
拼作阶下囚，工农齐解放。

    这首诗，抒发了一个共产党员对党对人民和对共产主义崇高理想的赤胆忠心。

    敌人对刘伯坚进行了审讯。审讯记录中记载着这样的对话——

    问：你为什么加入共产党？

    刘伯坚答：我看你们国民党毫无治国救民的办法，故加入共产党，致力于土地革命。

    又问：你们共产党有办法，为什么弄得现在一败涂地？

    刘伯坚答：胜败乃兵家常事。古人说“野火烧不尽，春风吹又生”。只要革命火种不熄，燎原之火必然将漫天燃起。

    ……