日本侵略者为了除掉这个让他们胆颤心惊的“堡垒”，于1941年1月25 日集中了十几个县的三千多日本兵和两千多伪军，在佐佐木二郎的指挥下，用刺刀、皮鞭、机枪、炸弹对手无寸铁的村民进行了惨无人道的大屠杀，他们用尽各种手段，奸淫烧杀，1230名潘家峪人惨遭杀戮,1000 余间房屋被烧毁,33户人家绝户。幸存的1000 多潘家峪人成立了“潘家峪复仇团”，奔赴抗日战场，继续坚持抗日斗争。潘家大院、西大坑、南岩子、铁门、大槐树。它们是日寇屠杀我国人民的铁证。

潘家峪村南700米处，还建有800余位无法辨认的死难者坟墓4座，按男、女、 幼分葬在松柏常青的南山脚下。

1951年以后，潘家峪陆续修建了惨案纪念馆、碑亭、纪念塔、祠堂和纪念馆。1982年公布为省保单位。1995年被省、市、县三级政府确定为爱国主义教育基地后，三级政府投资 420万元新建1246平方米的潘家峪纪念馆。2001年6月公布为全国重点文物保护单位。潘家峪惨案遗址不仅向世界人民展现了日本法西斯千秋万代无法抵毁的侵华铁证，同时，这遍地的尸骨和鲜血也提醒着中国人民不能忘记被侵略、被残杀的历史。