庐山会议后，撤销了彭德怀在军队内的职务，但仍保留中央委员、中央政治局委员的职务。党内文件照发，中央政治局会议也照常通知他参加，不过彭德怀照例请假就是了。根据毛泽东的意见，彭德怀有什么事都是通过杨尚昆这个办公厅主任向中央反映。

　　1959年国庆节前夕，彭德怀搬出中南海，移居吴家花园。10月21日，毛泽东找彭德怀谈话，刘少奇、周恩来、朱德、邓小平、彭真、贺龙、陈毅等同志都到了，我也在座。毛泽东肯定了彭德怀9月9日写信要求学习和参加生产劳动的意见，说读几年书好，要学点马克思主义的哲学、政治经济学。谈话时气氛很好，谈话以后又共进午餐。彭德怀离去以后，毛泽东嘱我以后要经常去看望彭德怀，每月至少两次，主要是了解他的思想动态，帮助他联系和解决学习和生活上的一些问题。11月9日，我和彭真一起去彭德怀处，在彭那里召集高级党校党委常委会，杨献珍、艾思奇、范若愚等同志都到了。当场安排了彭德怀到党校学习的问题，并当面交代，彭德怀是毛主席批准到党校学习的，要派专人辅导他的学习，有什么问题由杨献珍同彭德怀直接联系。

　　后来，毛泽东多次提出，要彭德怀出来做点事。有一次，他对我说，可以让彭德怀当农垦部部长，要我去征求彭德怀的意见。当然，如果彭德怀同意，下一步还要做王震的工作，让王震把农垦部部长的位置让出来。我考虑，那时彭德怀的情绪很不好，不可能出来工作，因而一直没有同彭德怀谈。还有一次，毛泽东指定我和陈毅、聂荣臻三个人去做彭德怀的工作，主要是说服彭德怀承认错误，有所表示。可是彭德怀心里不服，一直顶着不表态，我们三个人都认为不好开口。以后我见到毛泽东，就说你要我们三个人去做彭德怀的工作，你讲个方针才好。毛泽东看到我们有难处，笑了笑说，那就算了吧！

　　1961年9月19日，彭德怀给毛泽东写信，要求到农村去做调查研究。请求中央允许他先去湖南故乡搞三个月，了解农村情况，明年春天再去山西太行。他提出，如果允许他外出调查，行前希望见主席一面。我立即把彭德怀的信送给毛泽东，过了些日子，毛泽东批回来：“彭德怀到哪里去都可以，半年也行。”10月23日，我去彭德怀处，把毛泽东同意他下去调查的情况告诉他。25日晚，彭德怀到我的办公室，交来一份去湖南的调查提纲，并要求中央办公厅给他派一个临时秘书，随他去湖南，帮助整理调查材料。第二天，我把金石同志找来，对他说：“彭德怀最近提出要回湖南家乡看看，作些农村调查。因为庐山会议后彭原来的秘书都回军委去了，这次他下去要求中办给他派一位同志帮他整理材料，我们考虑你去比较合适。”金石有些紧张，我对他说：“彭德怀现在仍然是政治局委员，你还是要尊重他。你帮他整理材料，他要你怎么写，你就怎么写，有错误由他负责，与你无关。”

　　10月30日，彭德怀离京去湖南。他到长沙后，湖南省委书记胡继宗向他介绍了有关情况；在湘潭，由湘潭地委书记华国锋接待。11月3日，彭德怀就到了他的家乡湘潭县乌石大队为民生产队彭家围子村。

　　一个多月以后，彭德怀从华国锋那里得知中央准备召开一次由中央局、省、地、县委和大的厂矿企业一级负责人参加的扩大的中央工作会议，他认为这个会议主要是总结1958年“大跃进”以来的经验教训，十分重要，决定立即结束湖南调查返回北京。

　　彭德怀这次去湖南，历时50多天，最后整理了5份调查报告，他要金石交给我，并附信说：“这些材料都已经和省、地、县委同志交换过意见，没有大的不同意见。如有错误，完全由我负责。”我把彭德怀的几份调查材料，连同金石写的随彭德怀去湖南情况的报告，一并报送毛泽东。这件事，事前经过毛泽东批准，事后又向毛泽东作了报告，从工作程序和组织原则上讲都是无可指责的。