１９４８年１０月，刘少文撤到党中央所在地——河北省平山县，被委任为中共中央社会部副部长，仍然主持统战和情报工作，为争取民主人士北上参加新政协做了大量工作。

　　１９４９年５月８日，刘少文会同刘晓致电上海地下党领导人，对上海地下党配合与协助解放军解放上海作了周详部署。５月２７日，他随军进驻上海，任中共上海市委委员、上海市军事管制委员会轻工业处处长，将预定的财经接管工作落实得井井有条。同年１０月起，刘少文投身到新中国的经济建设中，历任华东军政委员会委员、华东纺织工业部部长等职，组织领导了上海和华东地区的轻纺工业生产的恢复和发展。

　　“筑地下长城，求知己知彼”

　　在隐蔽斗争战线的建设上，刘少文具有远见卓识，他认为情报工作是“筑地下长城，求知己知彼”，为党的政治、军事决策服务。早在全国解放前，他就向周恩来提出了适应形势发展调整情报工作布局和工作方法的建议。

　　１９５４年起，刘少文任中央革命军事委员会第四部副部长、代部长、军委第二部（解放军总参谋部二部）部长。当组织上选定他任军委第二部部长时，他一开始考虑自己缺乏军事斗争经验，不完全适合工作的需要，因而郑重地向上级递交书面报告，诚恳提议遴选懂军事的得力干部。组织上没有答应，于是他毫不迟疑地挑起担子来。其间，他参与了当时我党我军情报工作路线、方针、政策的制定，是我党我军情报工作的奠基者之一。

　　２０世纪五六十年代，刘少文在任期内遵照中央军委和总参谋部的指示，严密组织了抗美援朝、台湾海峡斗争、中印边境反击战、援越抗美等情报保障，对世界形势发展特别是中苏关系、中美关系、中日关系进行了深入研究，为我国国防战略的制定、外交斗争的开展，提供了必需的情报，对于我国国家安全、国防建设以及军事外交的发展作出了贡献。在党的领导下，刘少文和他的战友们一起，真正构筑起捍卫祖国和人民安全的又一道长城——地下长城。１９５５年９月，刘少文被授予中将军衔，荣获一级八一勋章、二级独立自由勋章、一级解放勋章。

　　１９７８年６月，刘少文得以复出，担任解放军总参谋部顾问一职，直到１９８５年３月离休。其间，他不顾自己身体老迈，在其位谋其政，尽自己所能为军队现代化建言献策。

　　１９８７年４月１０日，刘少文在北京溘然长逝，享年８２岁。