房遗爱不公平，于是多次找房遗直理论。李世民得知以后就训斥了高阳公主。时过不久，皇宫里失窃，卫率抓到了一个窃贼，并在赃物里找到了一个宝枕。
审讯之后，窃贼承认宝枕是从辩机和尚那里偷来的，而进一步调查发现辩机和尚的这个宝枕来自于高阳公主。李世民得知公主私通和尚，很是生气，就处死了辩机和尚。经过这些事情，高阳公主对李世民怀恨在心。李世民去世的时候，高阳公主都没有落泪。
李世民死后，唐高宗李治继位。高阳公主见李治比较软弱，于是和房遗爱商议，一旦天下有变，就起兵造反，拥立荆王李元景为皇帝（房遗爱之弟房遗则娶了李元景的女儿）。但是很快消息就泄露了，被长孙无忌得知。长孙无忌于是让房遗爱和高阳公主下狱并判处死刑。
参与他们计划的人，包括荆王李元景（唐太宗的六弟），驸马都尉柴令武（唐太宗的外甥、霍国公柴绍的次子），巴陵公主（唐太宗的七女，柴令武之妻），武安郡公薛万彻（右武卫将军、驸马都尉）等人，皆被处死。
薛万彻为唐初名将，曾率军击败窦建德、刘黑闼、突厥、薛延陀、高句丽、吐谷浑等敌人，死前大喊：“薛万彻大健儿，留为国家效死力固好，岂得坐、房遗爱杀之乎！”随后引颈就戮。刽子手惊，第一刀没砍准，薛万彻大吼：“何不加力！”，连砍三刀才斩下首级。
长孙无忌趁机清除政敌。由于房玄龄在世时是长孙无忌的竞争对手，长孙无忌趁机清算了他的后人。房遗爱被处死后，其兄梁国公汴州刺史房遗直、三弟朝散大夫房遗则、四弟谷州刺史房遗义都被流放。
被唐太宗誉为“英果类我”的吴王李恪也被冤杀，李恪临死前大骂长孙无忌“窃弄威权，构害良善”。
和李恪同父母的唐太宗六子蜀王李愔被流放到巴州，贬为庶人（后改封为涪陵郡王，客死巴州）。
李恪之所以要与长孙无忌不死不休，就是知道这段历史。