晚，几臣在无忌府商议废立，无忌的挚友在内。那午很晚的候，听说中书令柳奭免了职。柳奭是王皇的舅父。由此，武氏是认真动手了。
无忌说：“柳奭竟免了职！”又问褚遂良说，“咱明怎办？”
“咱怎办？是坚持，不让步。我的职责清清楚楚摆在眼前，有妥协。”
长安令裴行俭一怒气冲冲。他精通数阳理，深晓祸福。他说：“情若任其生，就是毁灭始了。”
二早朝，情势显很紧张。众人正在等候进的候，听说裴行俭（名将）又遭免职。因昨晚在无忌府聚，袁公瑜在场，他连忙裴行俭的话告诉了武氏的母亲杨夫人。
褚遂良很难。他说：“又走了一了。”他泰冷静，告诉其余的人说，他一定制止此措施，不就辞官归隐，或是宁遭贬谪流放——些他不介意。他的所所，己清清楚楚。
臣又鱼贯入朝，脸紧张严肃。高宗口引孟子的话说：“不孝有三，无。王皇未给朕生一男。武宸妃生了男孩。朕意已决。”
褚遂良迈步向前，在宝座叩头。手拿着象牙朝笏。
“将先帝的遗言提醒陛，是臣的职责。臣所承诺先帝的话不遗忘。若是圣意已决，臣已无话说。今将朝笏敬陛。尚求陛赦臣罪，臣有此已。”
他朝笏放在宝座前，在叩头声，示强烈抗旨意。
高宗颇吃惊。遂良态度傲慢，语气粗暴。
突，帘幕传尖锐刺耳声：“斩此老贼！”虽是女人的声音，却无娇柔气，朝廷听见。
无忌奏称：“遂良因职责所在，不不言，不加罪。”
高宗命令：“拉！”
突间，又跟昨一散了朝。褚遂良贬潭州督，潭州远在湖南，乃山中县。遂良赴任，良清白，无愧中，毫无怨尤。至日何，仍在茫不知数呢。