而且那個時候，不僅是外臣，就連內宮之中也都是由世族大家之女為后為嬪，里里外外，不用說了，幾乎就沒有唐高宗可以伸展的地方。永徽四年，李世民之女高陽公主與駙馬，也就是房玄齡的次子房遺愛企圖謀反，擁立荊王李元景，也就高祖的第六子，太宗的六弟為帝。
事未實施，消息卻已經泄露，以至于所有參與謀劃謀反的人全都被一網打盡。包括荊王李元景、駙馬都尉柴令武唐太宗的外甥、霍國公柴紹和平陽昭公主的次子、巴陵公主唐太宗的七女柴令武之妻、武安郡公薛萬徹右武衛將軍、駙馬都尉等人皆被處死。甚至借著這件事，長孫無忌更是
扯上了李世民的第三子吳王李恪。
李世民這第三子李恪得李世民稱贊，“英果類我”,當年這一位也是爭皇位的人選之一。對于長孫無忌來說，一個英果類李世民之人，不把人弄死，是等著他將來長成李世民那般，再讓他來一回玄武門之變，把皇位奪去
嘶本來對于所謂謀反的事李世民的心情就不太好，結果怎么著沈悠提起玄武門之變了。而且就用這個理由，光明正大的解釋了長孫無忌不能容于李恪的原因，就是因為這么一個兒子像李世民。
心好痛兒子像他成為了長孫無忌要將人除之而后快的理由長孫無忌在這個時候想說話，可一時間又想不出該怎么說了。他這樣的操作，咱就說有什么問題捉著機會不把危險清除，這天下能安
倒是一個個聽著兒子名字的重臣們，那都不好了，他們的兒子謀反，謀反，確定他們一大家子能再有什么好下場
吳王恪被殺，連同李恪同父母的唐太宗六子蜀王李愔被流放到巴州，貶為庶人，后改封為涪陵郡王，客死巴州。連皇子都不放過
了，長孫無忌明擺著要大肆株連，別管有沒有證據證明參與的人，那個時候，只要長孫無忌認為他們有危險，就順著這一樁謀反案將人扯入其中。
就連唐高祖的侄子，戰功卓著的江夏郡王李道宗也被流放到象州，并在途中病死。宰相宇文節、安國公執失思力、譙國公柴哲威、尚書奉御薛萬備，還有主張謀反的房遺愛被處死后，其兄梁國公汴州刺史房遺直、三弟朝散大夫房遺則、四弟谷州刺史房遺義都被流放。長孫無忌這是明晃晃的弄權。一股氣把朝中對他大權在握產生威脅的人，全都解決。順便再一報舊仇。房玄齡為相那么多年，一直都壓著他，他能沒點怨念對付不了房玄齡還能對付不了他兒子
房玄齡已經直勾勾的望著長孫無忌，何止是他，那些被點了名字的人，哪一個不瞅著他，長孫無忌額頭滲出一層層的冷汗。哪怕是李世民在這一刻也板起了臉，似是第一次認識長孫無忌一般的看著他。
說了半天的長孫無忌，肯定有人疑惑，這一道輔政的還有另一個人呢，怎么沒有人攔著點長孫無忌不好意思，褚遂良和長孫無忌那是穿一條褲子的人，以至于后世不少史學家都認為長孫無忌和褚遂良嫉賢妒能，“銜不協之素，致千載之冤”。
長孫無忌一口氣解決的李室宗親都是些能干的人，他是不想讓這些能干的人威脅到自己，也為后面的李氏宗親產生了惡劣的影響。最重要的是，房遺愛謀反一事唐高宗看明白了，自家的舅舅是要把自己完全架空那唐高宗能不擔心，接下來長孫無忌會不會把他干掉嗎