“文化大革命”开始后，吴晗从精神到肉体惨遭摧残，1966年夏，吴晗已被关了起来，但是批判并未停止，而且愈演愈烈。有一次吴晗被铜丝勒得脖子直流血。1966年3月28日至30日，毛泽东在杭州三次同康生、江青等人谈话，严厉指责北京市委、中宣部是“阎王殿”包庇坏人，不支持左派，并点名批评邓拓、吴晗、廖沫沙担任写稿的《三家村札记》和邓拓写的《燕山夜话》是反党反社会主义的。

    1966年5月10日，《解放日报》、《文汇报》发表《评“三家村”──〈燕山夜话〉〈三家村札记〉的反动本质》，以此揭开“文革”的序幕。这篇文章一出，中国报刊立即转载。此文分7个部分系统全面地批判“三家村”。

    在批判“三家村”的日子里，吴晗的家人常常被“深夜里猛烈砸门声惊醒”，小儿子吴彰回忆说：“（我）老是吓得缩在妈妈怀里。他们翻过围墙，破门而入。整个院子贴满了‘绞死’、‘砸烂’的大标语。”不久，吴晗进了劳改队，“他的身上总是旧创未平，新伤又起”，1968年4月，“妈妈也被送入劳改队”，后双腿瘫痪。1969年3月19日，11岁的吴彰跟着15岁的姐姐吴小彦去太平间看已于前一天去世的妈妈，“妈妈双眼半睁，面颊上还有几滴泪珠”。

    1969年10月11日吴晗被迫害致死，死前头发被拔光，其骨灰至今下落不明。

    他的妻子袁震也于1969年3月18日被迫害致死；养女吴小彦于1976年9月23日在狱中自杀身亡。

    1979年7月，北京市委为“三家村反党集团”冤案平反，为吴晗恢复党籍，恢复名誉。

    1980年，吴晗好友、“三家村”作者之一廖沫沙，在吴晗一张摄于1964年的照片上题写了一首诗：“鬼蜮为灾祸已萌，天真犹自笑盈盈；可怜一觉金陵梦，留得身前身后名。