蒋介石为挽救在鲁西南战场上的败局，于7月19日飞往开封坐阵指挥，立即调重兵驰援羊山集；同时严令王敬久就近率第五十八师及第六十六师之一九九旅，立即由金乡北渡万福河，解羊山集之围。这时，在万福河北岸阻击国民党军的冀鲁豫军区独立第一、二旅和第七军分区部队，根据刘邓指示，在正面敞开一个缺口，诱敌先头部队第一九九旅北渡万福河，然后突然切断其与第五十八师的联系，将其包围，冒着倾盆大雨，激战两小时，将敌人全歼。

    7月27日夜，刘邓大军对羊山集发起总攻，以第二纵一部由西向东攻击，以第三纵第七旅和第六纵第十六旅由北向南攻击，以第三纵一部由东向西攻击，并调用野司榴弹营、第一纵队炮兵团，加强火力，重点夺取羊山各制高点。经一昼夜激战，全部夺取村北制高点，将敌压缩于羊山集村内予以全歼，活捉敌66师中将师长宋瑞珂，取得羊山战斗的重大胜利。至此，历时28天的鲁西南战役胜利结束。

    解放军也打得很苦，二纵队司令员陈再道将军后来感慨万分地说：“羊山集这一仗，是我们打得最苦的一仗！牺牲的战士最多！”

    刘邓大军取得鲁西南战役重大胜利后，遵照毛泽东的指示，于8月7日兵分三路，向大别山跃进。