婚后，李敏和丈夫住在中南海。一年后，李敏生了个男孩，也就是孔东梅的哥哥孔继宁。毛泽东经常抱抱小外孙。江青却容不得这些，她对李敏一家冷漠、轻视，还常常寻衅滋事。李敏考虑再三，向爸爸提出搬出去住的打算。毛泽东听了也没有阻拦，只是颇有感触地说：“手心手背都是肉啊。”

　　自从搬出中南海，李敏夫妇出入中南海的证件就被收回了。要进中南海得在门口先联系，通报后才能进入，有时候等了半天还进不去。1964年，李敏夫妇搬进了兵马司胡同的一所普通民居里，开始了真正意义上的平民生活。

　　毛泽东晚年，江青更加飞扬跋扈，李敏等人要见毛泽东一面更难。从爸爸患病到逝世，李敏总共见过他三次面。

　　第一次是陈毅逝世时，毛泽东出席追悼会。他见到李敏，拉着女儿的手说：“娇娇，你为什么不常来看我呢？你要常来看我啊。”李敏不便向他诉苦，只是含泪点点头。第二次是李敏接到堂弟、时任中央政治局“联络员”毛远新的电话，说主席病重，让她赶紧去。等李敏赶回来去见爸爸时，江青只许她看一眼就走：“主席抢救过来了，好多了，你走吧。”李敏不肯走：“这个时候我要守候在爸爸身旁。”江青冷硬地说：“你待在这里，主席出了问题，你负得起责任吗？”

　　李敏第三次见到父亲，是在父亲逝世前几天。他拉着李敏的手说：“娇娇你来看我了？你为什么不常来看我呢？”李敏无言以对，只能默默流泪。

　　相夫教子度清贫

　　离开毛泽东后，李敏的日子一直过得很简朴，有时甚至很清苦。

　　据多次跟踪采访李敏的王行娟介绍：李敏夫妇一直都是靠工资吃饭，他们自从搬离毛泽东的住处就自己做饭，和普通家庭一模一样。而当时，李敏和丈夫都在国防科委上班，工资不高，不仅要抚养两个孩子，每个月还要另外寄些零用钱给母亲贺子珍。

　　面对这种艰苦的生活，李敏不但毫无怨言，还显得非常适应。李敏常常教育孩子说，外公曾经为一顿伙食召集过一次家庭会议。一次，印尼总统苏加诺送了咖啡和牛奶等给孩子们改善伙食。他们煮了吃，这事被毛泽东知道了，就开了一次家庭会议。在会上，他严肃地告诉大家，国家财政收入是多少，还有多少人吃不饱，要他们的生活不能超标。那时，他们早饭都是稀饭、咸菜、馒头片。这种艰苦朴素的作风，在很长一段时间里也影响了李敏对孩子们的态度。她让儿子穿丈夫穿过的衣服，孔东梅也穿过哥哥的衣服。

　　王行娟对此颇为感慨：“李敏太节俭了，有时候连她的丈夫都不能理解，两人还为此闹过一些小别扭。李敏现在走在大街上，也几乎没有人能够认出她，就是一个普通的老人。”

　　孔东梅告诉《环球人物》杂志记者：“虽然母亲经历了苦难，但她和外婆不同。母亲是一个非常爱家庭，重视家庭的人，一辈子相夫教子，非常贤惠温柔的女人。她的生活简单、平静。只有那次回到莫斯科学校的小树林时，我才感受到妈妈的另一面，她好像年轻了，有了活力。”