同年，胡耀邦调任中国新民主主义青年团中央书记。第二年，已经4岁的胡德华说着一口四川方言跟随母亲来到北京。在胡德华的记忆中，父母为他选择幼儿园、小学、中学的标准，只是一条——全托，能住校。而在满妹的回忆录中，她也这样写道：

  　“小时候，父亲对于我来说，虽然并不陌生，却也不太熟悉，至少不感到亲切。坦白地说，在我内心深处，还多少有点害怕，害怕这个从来没有跟我玩过的爸爸。母亲是共产党培养起来的典型干部，一向只顾工作不顾家。1952年她随父亲来京不久，便加入北京的棉纺行业，从此以厂为家。工人们反映说：‘一天三班倒，班班见领导。’在我记忆中，母亲只抱过我一次，可当我好奇地伸出手去摸她那亮晶晶的眼镜时，她‘啪’地给了我一巴掌，我吓得大哭起来。外婆急忙从她怀里把我夺过去，埋怨道：‘从来也没抱过孩子，就抱这么一回，怎么还打她！’母亲说：‘她要是把眼镜弄碎了，我明天怎么工作！’”

  　四个孩子三个姓氏

  　胡德华常听外婆讲，父亲生来好动，虽然个头矮小，却喜欢体育，常和比自己高出一头的同学同场竞技。“除了喜爱体育，父亲还喜欢演说。有意思的是，他从小有些口吃，爷爷曾叫他‘九结巴’。”

  　调皮的小德华儿时也是个结巴，直到上大学才慢慢纠正过来。“大人总说‘哎呀，你就是学你爸’。父亲开会的时候‘啊，那个那个’，我也跟着‘啊，那个那个’……最后他生气了轰我走，我就跟他做个鬼脸跑了。那会儿我爸和王震见面，人家都管他叫结巴子。”胡德华在父亲身边，总是非常随性，他说家中“母亲很厉害，而父亲从不发火”。奇怪的是，随着胡德华长大，胡耀邦的口吃也渐渐矫正了。

  　胡耀邦家中4个子女却有3个姓氏，除分别随父母姓胡、李之外，还有一个姓刘的。胡德华说，他们从小就知道有一个“送了人”的二哥。

  　1945年冬，胡耀邦担任冀热辽军区政治部主任，将赴前线作战。李昭态度坚决，也要求同往参加战斗。无奈，胡耀邦夫妇将未满40天的次子，送给了陕北老乡刘世昌。“当时他们对孩子可不太在乎，把革命看得高于一切。父亲只提了3个条件：一是不要把孩子再转送别人；二是将来要让孩子上学；三是让他自由恋爱。父亲坚持让孩子随老乡姓刘，老乡采取了一个折中方案，就叫刘湖（胡）了”。

  　从胡德华出生起，就没见过二哥。这一别，就是十几年。解放后，刘世昌一家辗转到了青海。他牢记着胡耀邦的嘱托，即便家里连吃饭都困难，还是坚持让刘湖上了学。13岁时，刘湖小学毕业，各门功课成绩优良。其间，胡耀邦从没有来找过儿子。

  　当得知胡耀邦已在北京任职时，刘世昌和妻子犹豫再三，“孩子像生父，学习那么好，不能耽误了”。就这样，刘世昌硬是把含辛茹苦养大的刘湖送回了北京。“父亲看到刘世昌愣了，半晌说不出话，他拍着二哥头说：‘记住，刘世昌永远是你父亲！’”此后每逢寒暑假，刘湖就会去看望刘世昌夫妇。

  　“走资派”的后代

  　全家团圆的幸福时光转瞬即逝，很快“文革”开始了。胡耀邦被打成“走资派”，发配到了河南省潢川县黄湖农场劳动。“母亲被隔离审查，年近七旬的外婆被轰回安徽老家，音讯全无。父亲的秘书、司机也早就撤走了，满妹曾一个人住在三进大院子里，几十间房子空空荡荡……”

  　胡德华当时还在上高中，那时他的理想是要做工程师，要考清华大学。然而刚读完高一，他被分配到北京市政二公司工作，负责修马路。“当时我的工种叫‘壮工’，听着都可怕。我一天能吃掉一