1940年6月，陈养山奉调回到延安，先后担任中央社会部地方工作科科长、情报干部培训班主任、中央党校第七支部书记及干部科科长等职，其间负责过中共第七次全国代表大会代表的政治审查工作，并出席了中共“七大”。

    十几年前，贺龙在南昌起义失败后，曾到上海联络中央，是陈养山负责保卫。十几年后，贺龙在延安见到陈养山时才知道他的真名实姓。贺龙在延安曾说，这工作是了不起的，陈养山这个人也是了不起的，这个工作花多少钱也值得。贺龙向中央建议，要求把陈养山调到晋绥边区担任中共中央晋绥分局调查局 局长。

    1945年1月，中央情报部根据贺龙的提议，即调陈养山去晋绥边区担任晋绥分局调查局局长。

    建国后，陈养山依旧在情报保卫战线上。先后历任上海公安局副局长、中共南京市委常委、南京市公安局局长兼检察署检察长、华北政法委员会副主任、华北公安局局长等职，为保卫和巩固新生政权，夺取“镇反”和“三反”、“五反”斗争的胜利，做出了卓有成效的成绩，受到了毛泽东的表扬。

    「说谍」中共情报保卫系统的活化石，一生战斗在情报战线的陈养山

    1954年秋，陈养山被调任中央人民政府司法部副部长、党组副书记。

    1958年第四届全国政法工作会议上，司法部党组被错误地定性为“反党集团”，陈养山因此受到撤消党内外一切职务、行政降三级和留党察看的处分，并被下放到北京清河制呢厂劳动。

    1960年，中央组织部根据李克农提议，调陈养山到中央调查部承担为中共党史提供中共特科斗争史的资料编写工作。他随李克农收集我党情报保卫组织创建时期的历史资料，整理编写了十余万字的《中央特科史稿》和一批烈士的传记资料。

    「说谍」中共情报保卫系统的活化石，一生战斗在情报战线的陈养山

    1966年2月，中央组织部调陈养山担任宁夏回族自治区政府副主席，列席自治区党委常委会议。

    1978年4月，最高人民检察院恢复后，陈养山被任命为最高人民检察院副检察长、党组成员，不顾年事已高，同高检院党组班子一起，总结经验，消除“左”倾影响，研究制定新时期检察工作方针和任务，重建检察队伍和业务。

    1983年，中央撤消了对陈养山、郑绍文等9位同志的错误处分决定，蒙冤长达20年之久的司法部党组“反党集团”一案得以彻底平反。

    「说谍」中共情报保卫系统的活化石，一生战斗在情报战线的陈养山

    1986年，又受国家安全部的委托，重审《中央特科史稿》。这一年，他在自传《我的一生》中写道：“为完成陈赓、李克农同志生前嘱我为党史提供中央特科资料的嘱托，我当抓紧时间撰写情报斗争历史的回忆录，给党留一份遗产。”其后他已拟定了一份共有多达36个题目的提纲，准备撰写回忆录。

    「说谍」中共情报保卫系统的活化石，一生战斗在情报战线的陈养山

    然而，已经年老的陈养山不幸接连身患胃癌、肺癌。该项工作未能得以展开。

    1991年2月22日，陈养山因患肺癌医治无效去世。