“文化大革命”开始后，在江青一伙的诬陷迫害下，李成芳蒙受不白之冤达6年之久。1975年1月，他担任第五机械工业部部长兼党组书记。为加快兵器工业的发展，李成芳把主要精力放在抓团结稳定、抓生产整顿抓科研创新、抓兵器质量上。

    1977年8月，在中国共产党第十一次全国代表大会上，李成芳当选为中央候补委员。同年12月，中央军委发布命令，任命李成芳为武汉军区第一政治委员。重新回到军队并担任军区领导工作，李成芳以极大的热情投入工作中。他带领部队坚决贯彻党中央的路线方针政策，自觉维护党对军队的绝对领导。重视军区党委一班人的团结，坚定不移地贯彻执行军委的战略方针和决策指示，加强部队的教育训练。1982年9月，在中国共产党第十二次全国代表大会上，李成芳被选为中共中央顾问委员会委员。10月，他愉快地服从党中央的决定，从领导岗位退了下来。

    1984年1月23日，李成芳因病在北京逝世，享年70岁。