褚遂良于永徽六年九月被贬黜为潭州都督，使太尉派受到了沉重打击，太尉派不甘沉沦，展开了营救行动。
侍中韩瑗在废王立武过程中曾经涕泣进谏，与褚遂良保持前后呼应，褚遂良被贬半年后，韩瑗挖空心思写成疏议上奏论理。
大意是说褚遂良勤劳忠诚，体国忘家，从被贬到如今已经度过寒暑，违忤陛下之罪已经受到惩罚，请求宽宥以顺人情。
疏议写得比较长，用情比较深，李治御览后对韩瑗说：“褚遂良的情况朕也知道，但他悖戾犯上，朕无法忍受，所以用忤旨罪名左授他为潭州都督，朕难道有过错吗？卿说了这么多，情感又这样深，是想得太多了吧！”韩瑗默然而退。
这次营救无果，太尉派并未放弃，韩瑗继续与褚遂良书信来往。
显庆二年三月，韩瑗和中书令来济上奏请移潭州都督褚遂良到桂州，以此为条件换取同意拥武派李义府兼中书令。
潭州治所在今湖南长沙，中都督府，管理郴州、永州等7州，而桂州治所在今广西桂林，也是中都督府，管理梧州，贺州等12州，风光秀丽，是历代兵家要冲。将褚遂良移到桂州，看似平级调动，实际上是扩大了实权。
李治给了太尉派一个面子，爽快同意了奏请。褚遂良到桂州以后，一方面游历桂林山水，排遣一年多来胸中郁结，一方面加强州府治理，修缮守备。
且说武后的成功得益于小人物的通风报信，所以武后十分重视对“耳目”的培养，不惜重金奖赏，宫内耳目密布，监视李治和其他妃嫔的动静，宫外也严令拥武派培养“耳目”，监视政敌。
太尉派自以为得计，却不料武后早已令许敬宗、李义府暗中加强对太尉派的监视。褚遂良在桂州的一举一动以及与京城官员的驿马往来，武后都能及时知道，时机成熟就向李治报告。
转眼到了盛夏，许敬宗的监控人员截获了韩瑗与褚遂良的书信，上报给武后，武后又报告给李治。
李治见掌握了太尉派的真凭实据，大喜过望，结合以前收集的材料，指责韩瑗、来济与褚遂良联合起来潜谋不轨，因为桂州是用武之地，所以故意调褚遂良为桂州都督，以为外援。
借此罪名，左授侍中韩瑗为振州刺史，振州在今海南三亚，是天涯海角所在地，比桂林远多了。
又将中书令兼太子詹事来济左授台州刺史，台州在今浙江，这个惩罚相对较轻。因为来济没有书信方面的把柄，又辅助过太子李弘。
再贬黜褚遂良为爱州刺史，爱州又名九真郡，比天涯海角还要远，在今越南清化西北。在交通不便的古代要走到此处，真的是要经历千难万险。
又把荣州刺史柳左迁为象州刺史，让他在路上折腾。太尉派骨干到此基本上被一锅端了。而礼部尚书许敬宗被提拔为侍中，以示褒奖。
褚遂良从桂州出发，经过长途跋涉到达爱州，疲惫不堪，又不适应这里的热带丛林气候和蚊叮虫咬，经常生病，连累家人，实在受不了，只好不顾老脸上表乞怜。
乞怜表的大意是说自己在李承乾、李泰交争之际曾经对抗岑文本、刘洎，为李治进入东宫立下大功，又在先帝病危之时拥立李治，处分朝政琐事，使内外宁谧，这也是一件功劳，所以乞陛下哀怜。
表奏上后，时已隆冬，武后在洛阳宫烤火，览表后一笑了之，将表扔进炉子引火。而李治亲手写了一道诏书，改洛阳宫为东都，洛州官员阶品并准参照雍州标准，将河阳、济源等地划归洛州管辖。
长孙无忌也收到了褚遂良的求援信，碍于情面不能不向外甥求情，但自己早已失礼于外甥，又没有朝拜皇后，如何见面求情？
实在是尴尬至极。恰巧太常博士上报《显庆礼》即将修成完工，长孙无忌正好可以借献新礼机会面见外甥。
显庆三年正月初五，《显庆礼》全部修成，共一百三十卷，二百五十九篇。本来是一卷二篇，但因为太常博士萧楚材认为臣子不应该说皇帝的凶事，得到许敬宗、李义府的赞同，所以焚毁《国恤》一篇。
早上，太尉长孙无忌领头到洛阳宫宣政殿站班，许敬宗、李义府随后，向李治报告《显庆礼》修缮情况，并对修成表示祝贺。李治下诏将《显庆礼》颁于天下，中外施行。
汇报会被许敬宗、李义府抢了风头，特别是李义府口若悬河、滔滔不绝，详细叙述《贞观礼》的不足和缺失，赞扬《显庆礼》的完备和翔实，搞得长孙无忌都忘了求情这回事了，一直到散会都没有为褚遂良说一句话。
仲春时节，李治从东都启驾回京，二月廿一日，回到长安太极宫。
不久，传来军事上的捷报，苏定方、萧嗣业攻破西突厥大军，生擒沙钵罗可汗贺鲁，收获西突厥人口、牲畜四十余万，平定西域。
李治下令在西域设置池都护府和昆陵都护府，又在龟兹国设置安西都护府，以高昌故地为西州。
大唐帝国的版图大大扩张了，李治高兴之余忽然意识到这是武后不拘一格降人才的功劳，而且自武后从感业寺回宫后，自己的好运是一个接一个，无论家庭还是国家，都是一帆风顺。
李治对自己的慧眼识珠真是太满意了，认定武后是自己的福星，是昊天上帝对自己的恩赐，所以对武后自然而然言听计从了。
转眼到了盛夏时节，李治派遣营州都督程名振、右领军中郎将薛仁贵率兵进攻高句丽，又收到攻克赤烽镇的捷报。
与李武的好运连连相比，褚遂良就可怜多了，可谓恶运连连。
爱州属于热带气候区，气温高、湿度大，又多风雨，褚遂良年迈体衰，不适应这种气候环境，经常感冒，又受到蚊叮虫咬和南方瘴气的困扰，感染疟疾，很快一病不起、与世长辞了。
因为路途遥远，褚遂良的死讯到年底才传到长安，当时朝廷正在隆重举办鄂国公尉迟敬德的葬礼，对褚遂良的死给予了冷处理。
中书令李义府有一颗不安分的心，仗着有宠于上，竟然发动全家贪污**，母亲、妻子、儿子、女婿，一起上阵卖官鬻爵，门庭若市。
同样是中书令的杜正伦比李义府资格老，站朝候班、议事署名都想抢在李义府前头，而李义府经常和他争执，不愿意处在他下面，所以有了矛盾。
杜正伦看到李义府全家贪污受贿而无事，忍不住与中书侍郎李友益谋划驱逐李义府，被李义府探知消息，密告李治。
上朝时，杜正伦当着李治的面批评李义府，李义府也大声争辩，大有当年褚遂良脱帽进谏的架势。李治很不高兴，喝斥二人停止争吵，象综艺主持人一样控制住了朝堂场面。
事后，十一月六日，贬斥杜正伦为横州刺史，李义府为普州刺史，李友益流放峰州。杜正伦不久在横州逝世。朝廷职事不可空缺，九日，任命侍中许敬宗为中书令，大理卿辛茂将为侍中。
本来武后想在显庆三年就动手除掉太尉派的，结果李义府又捅了漏子，只好拖到下一年。
显庆四年正月，武后召见了许敬宗，一起商议如何除掉太尉派的事。
武后认为太尉长孙无忌接受了十车礼物却不赞成废王立武，违背人情，又不愿意朝拜皇后，失去人臣之礼。
许敬宗深以为然，也讲了自己劝说长孙无忌的事，劝他认清形势，摆正位置，知道进退、利害、得失，但他不听，还当面斥责自己。于是二人面对共同的敌人，制定了斗争方略。
武后又劝李治广纳贤才，以作储备，当一批官员被拿下后，储备官员能够立即顶上，不至于国家机构停摆。李治也深以为然。
仲春二月，当科举会试考完放榜，考上的举人成为贡士，正沉浸在喜悦中，李治突然宣布要对所有的举人进行策试，由皇帝亲自监考，选拔国家需要的人才。
策试在宫内规模最大的太极殿举行，共九百名举人参加考试，李治亲自坐殿监考，只考策问。礼部官员负责点名、散卷，引导举人赞拜、行礼，然后颁发策问题目，到傍晚时分收卷。
李治和武后一起亲自阅卷后，钦定郭待封、张九龄等五人居上第，成为进士，令他们待诏弘文馆，随仗供奉。这是中国历史上的首次殿试。
殿试后不久，李治收到了洛阳人李奉节的告状信，内容是状告太子洗马韦季方和监察御史李巢勾结朋党，狼狈为奸。
各位看官，皇帝是如何能收到平民百姓的诉状呢？平民百姓又如何能了解官场上的秘密事呢？
很明显，这是武后和许敬宗在背后运作的结果。她们的情报网络十分发达，对官场动态特别是政治对手的秘密是了如指掌的，请个可靠的平民百姓抄写一下诉状，再代为递上是完全可行的。
李治看完告状信后，敏锐地意识到韦季方是太尉派官员，而李巢曾经受李义府指挥，现在被太尉派拉拢是想干什么？于是敕命许敬宗和辛茂将审鞫这个案子。
这下正中许敬宗的下怀，他借鉴高阳公主谋反案的操作手法，大办特办。许敬宗派人不分昼夜审判韦季方和李巢，当然重点是韦季方，不断指出韦季方和长孙无忌的关系，暗示韦季方将长孙无忌牵连进来。
由于审讯急迫，又用了刑具，韦季方惊惧不已，竟然用刑具自刺，但没有死。许敬宗吩咐医工为他疗伤，然后写了案卷上报，奏称韦季方勾结朋党的目的是想联合长孙无忌构陷忠臣近戚，从而使政权重归长孙无忌，并伺隙谋反，今事情败露，所以自杀，以免牵连更多的人。
李治看了案卷后惊问：“怎么会有这种事呢？元舅被小人离间，小生疑阻可能有，怎么可能谋反？”
许敬宗对：“臣认真推究这个案子的来龙去脉，搞清了事情的始终，并非轻率上言，长孙无忌反状已露，陛下却犹豫不决，恐非社稷之福啊！”
李治长叹流泪说：“我家不幸，亲戚间屡有异志，往年高阳公主与房遗爱谋反，今元舅又是这样，使朕惭见天下之人。这件事情如果查实，该怎么办呢？”
许敬宗一听，眉毛一扬，知道有戏，但皇帝一时难下决心，必须添油加醋、落井下石才行，于是捏了捏象牙笏，看了笏上面写的提示，朗声对道：“房遗爱是乳臭小儿，和一女子谋反，势不可成！但长孙无忌不一样，他与先帝一起谋取天下，天下服其智；当宰相三十年，天下畏其威；如果一旦发难，陛下派遣谁去阻挡他呢？”
李治示意内侍赐坐，许敬宗坐下继续说道：“今赖宗庙之灵，皇天疾恶，因审按一点小事，却得到大奸大恶之情，实在是天下之庆啊！臣窃恐长孙无忌得知韦季方自刺的消息后，窘急发谋，攘袂一呼，同恶云集，必为宗庙之忧。”
李治侧耳倾听，饶有兴致，许敬宗稍停，又说：“臣过去曾见宇文化及的父亲宇文述被隋炀帝宠信，结以婚姻，委以朝政。宇文述死后，宇文化及又掌管禁兵，却在晚上于江都谋反，先杀不依附自己的人，臣父许善心就死于那时。大臣苏威、裴矩之徒见风使舵，都舞蹈于马首之下，唯恐不及，黎明遂杀隋炀帝。前事不远，愿陛下从速决定！”
李治暗想，这话分明是以宇文述来比喻长孙无忌，朕岂能做隋炀帝第二？但要处分长孙无忌又嫌证据不足，便命许敬宗再次审察。
第二天，许敬宗又上奏道：“昨天晚上韦季方已经承认与长孙无忌同反，臣又问韦季方：‘无忌是国家至亲，累朝宠任，有什么怨恨而要谋反呢？’韦季方答：‘韩瑗曾对无忌说，柳、褚遂良劝公立梁王李忠为太子，今梁王既废，皇帝也怀疑公，所以外放公的表弟太常卿高履行为益州府长史。自此后，长孙无忌忧心恐惧，渐渐谋划自安之计。后又见族侄工部尚书长孙祥外放为荆州长史，韩瑗得罪，更加不安，所以日夜与韦季方等官员谋反。’臣参验前后辞状，全部相吻合，请收捕准法。”
李治一听心中暗喜，夸奖许敬宗办事麻利，但表面上必须装作伤心难过的样子，示天下以仁慈的一面。
李治揉揉眼睛，流泪道：“元舅如果真的这样做，朕决不忍心杀他。如果真的杀他，天下人将如何说朕？后世人将如何说朕？”
许敬宗似乎对这个问题早有准备，立即振作精神对道：“薄昭，是汉文帝的元舅，文帝从代国回朝廷登基，薄昭也有功劳，他的罪名只不过是杀了一个人，文帝就派遣百官穿着素服哭祭而杀了他，至今天下人都说文帝是明主。今长孙无忌忘记两朝大恩，谋移社稷，其罪责与薄昭不可同日而语呀！幸而奸状自发，逆徒引服，陛下还疑虑什么？不早作决定？古人有言：当断不断，反受其乱。安危之机，间不容发，长孙无忌就是今朝奸雄，王莽、司马懿一类的人物，陛下少更迁延，臣恐变生肘腋，后悔无及了！”
李治闻言一惊，深以为然，不再招长孙无忌当面责问。
四月廿二日，下诏削去长孙无忌太尉及封邑，挂职扬州都督，于黔州安置，依旧准一品供给。派遣大理正侯善业为使者，征发沿途驻兵援送长孙无忌一行前往黔州。
长孙无忌自褒斜道入蜀，走到褒河边，顾影自怜，叹息说：“这个外甥直接将顾命老臣一窝端，开创自己的新时代，接下来恐怕要赐老夫一条三尺白绫了，好手段啊，雉奴，舅服你！”
几天后，许敬宗又上奏道：“长孙无忌谋逆，是由褚遂良、柳、韩瑗等官员构扇而成，柳早已出京，但仍然潜通宫掖，谋行鸩毒，于志宁虽然是资深帝师，但也党附长孙无忌。”
李治准奏，下诏追削褚遂良官爵，将柳、韩瑗除名，罢免太子太师于志宁官职，放还私第。
将长孙无忌的儿子秘书监长孙冲、鸿胪少卿长孙涣、尚衣奉御长孙津、太常少卿长孙润等十二子都除名，流放岭表。褚遂良的儿子褚彦甫、褚彦冲流放爱州，在半路上又借故把他们都杀了。
益州长史高履行左授洪州都督，不久又贬为永州刺史。荆州长史长孙祥左授常州刺史，不久又查出他写给长孙无忌的书信，处绞。
经过这一仗，太尉派都被逐出朝廷，拥武派大获全胜，但武后仍然不满意，因为还没有斩草除根，惟恐死灰复燃。
七月廿七日，李治命李、许敬宗、辛茂将、参知政事任雅相、卢承庆共同复审长孙无忌的案子，确认太尉派谋反属实。
朝廷分派监察御史前往高州追拿无忌族弟长孙恩，到象州追拿柳，到振州追拿韩瑗，按律全部带上枷锁押送京师。
许敬宗派遣中书舍人袁公瑜带卫士前往黔州，再次审鞫长孙无忌谋反的事。
袁公瑜到达黔州后，按照武后的意思逼令长孙无忌自缢，众卫士拔刀环绕长孙无忌四周，齐声鼓噪：“恭请扬州都督升天！请从速上路，备礼厚葬！”
长孙无忌仓皇四顾，见自己已成为孤家寡人，突然想起吴王李恪临死前说的话：“长孙无忌窃弄威权，构害良善，宗社有灵，当族灭不久！”不禁长叹一声道：“一切众生皆有因果报应，老夫现受苦乐之报啊！”遂引颈上吊。
李治又诏命抓到柳、韩瑗后就地斩决，不用押送进京。
监察御史到象州后就地斩杀柳，到振州后发现韩瑗已死，就挖开棺材，验明尸身而还。到高州抓到长孙恩后，将他流放檀州。籍没柳、韩瑗、长孙恩三家，儿孙近亲都流放到岭南为奴婢。
至此，太尉派全军覆灭了，武后十分高兴，派人召回普州刺史李义府，任命他为吏部尚书，同中书门下三品。