1961年9月16日，彭德怀第一次远离吴家花园，登上了南下的火车，回故乡进行考察。彭德怀穿着打补丁的黑布衣服，在湘潭市区转了一圈，就匆匆赶到荒芜的乌石寨。消息传开后，乡亲们从四面八方赶来看他，一连四五天人流不断。彭德怀为招待大家，自己花钱买了500斤大米和300斤面粉，很快就吃光了。乌石寨旁边有个黄泥坪，方圆几十亩，一直是一片荒芜之地。

　　这次彭德怀带领村干部和乡亲们终于把这片荒地开垦了出来，播进了种子。他一边挥锄一边对乡亲们说：“解放后，我提出不当国防部长，想当农业部长，毛主席不同意。现在我解甲归田了，想在这里落户，你们同意吗？”顿时响起了一片欢呼声：“欢迎彭老总！”彭德怀自然身不由己，不可能在家乡落户。但他每年都要寄100元给乌石寨，作为开发黄泥坪的投资。彭德怀在家乡住了近40天，走访了4个公社9个大队和一座矿山，在煤油灯下写了4份近9万字的农村专题报告，交湖南省委转给中央。他在报告上声明：“如有错误，归我负责！”11月16日，彭德怀才返回北京吴家花园。

　　1962年1月11日至2月7日，中共中央在北京举行了扩大会议，总结经验，统一认识，加强党的民主集中制，切实贯彻国民经济调整方针。参加会议的有七千多人，故称之为“七千人大会”。“七千人大会”结束后，一批经过甄别的同志相继恢复了工作。黄克诚、张闻天、周小舟等经甄别后走上了新的工作岗位。唯有彭德怀不但未被邀请参加“七千人大会”，也没有甄别平反。彭德怀十分不快，他一边劳动，一边给毛主席写了一封长信，即有名的八万言书。写完信，他病了，让赵凤池帮他誊写。信分10个部分：

　　一、童、少年遭遇

　　二、走出当兵

　　三、平江起义

　　四、反“围剿”战

　　五、抗日战争

　　六、解放战争

　　七、抗美援朝

　　八、国防部长

　　九、庐山会议

　　十、人物评价

　　他在信中特别申明：他在党内从未组织过什么“反党小集团”，请求党中央全面审查他的历史。写信的日期为1962年6月16日。

　　信上交后，彭德怀坦然地等待着中央的回应。

　　罢官以后，在吴家花园，别人对他怎么看，他从来置之度外。他的心中装的是人民。邻居李家的奶娃没有奶吃，他就将供应给自己的牛奶送去。他经常到挂甲屯附近的村民家中走访，成了村民的知心朋友和长者。谁家办喜事，他登门祝贺；谁家有困难，他安慰救济；谁家屋漏，他去查看；谁家有病人，他去探视。他还用自己的薪金，给村里装电灯，接自来水管，修下水道，给孩子们买学习文具。每逢院内放电影，他就亲自摆好凳子，请村民进院看电影，村里人都亲昵地称他为“好村长”。

　　这种庶民生活，一晃就过了六年。实际上，这六年来，彭德怀的心里始终装着党、国家和人民的利益，对个人的得失进退看得很轻。