１９７９年１月，张秀山任国家农业委员会副主任、党组成员，分管全国林业、农垦等方面的工作，同时兼任国务院知青领导小组副组长。他坚决支持农林战线上的各项改革，率领农林部门人员到十几个省区深入农村、农场和林区调查研究。为了抓好国家“三北”防护林体系工程，多次深入三北地区进行考察。他为加快农业经济发展，推动林业建设，为组织落实下乡知识青年有关政策，处理知青遗留问题，做出了积极贡献。

　　１９８３年全党整风中，张秀山同志任中共中央整党指导委员会委员，为加强党的建设做了大量工作。在党的十二大、十三大会议上，张秀山当选中央顾问委员会委员。退居二线后，受党中央和陈云同志委托，张秀山和伍修权等其他老同志不辞辛劳领导主持了《辽沈决战》一书的编辑工作和辽沈纪念馆的筹建工作。

　　张秀山同志的一生是革命的一生，无私奉献的一生，是一个无产阶级革命战士光辉战斗的一生。他为西北革命，为东北的解放和建设，浴血奋战，呕心沥血，做出了杰出的贡献。

　　党和人民永远怀念张秀山同志。