在接下来的军队改革中，党中央鉴于刘金山的政治能力较强，想要调他进入中央军委工作。但是，刘金山却执意推辞。他表示，自己的文化程度太低，去做这种全国性质的管理工作不合适。同时他还表示，自己在军事改革中已经难以发挥作用，不如退伍，到地方，到基层去发光发热。党中央在考虑之后，同意了他的请求。于是，刘金山从军队的领导位置上退了下来，去江苏的一个纺织厂当起了副厂长。

    开始到地方工作后，刘金山仍然保持着艰苦朴素的作风。他所住的房子年久失修，设备简陋，但是他从来不许别人给自己修房子。他不仅自己清正廉洁，还严格要求家人，不许儿女妻子占公家的一点便宜。1964年，国家落实政策，对老红军再次给出了一些优待。刘金山二话不说，将发给自己的奖励全部退了回去。

    1999年，刘金山在苏州逝世，享年91岁。他用自己的一生，践行了一名革命者的初心，为祖国和人民交上了一份优秀的答卷。他虽然身后没有什么物质上的遗产，但是留给我们的精神遗产却十分丰厚。这样的英雄，是每一位中华儿女的楷模。