褚遂良在永輝六年的九月已經被貶到潭州(今湖南長沙)做官去了，韓瑗和來濟還在朝中為官。
在反對武皇后為後，和廢王立武這件事也已經過去，一年了。
武則天上疏道：“陛下前以妾為宸妃，韓瑗來面折廷爭，此即事之極難，豈非深情為國，乞加褒賞!”
武則天這一招棋，叫做以退為進，用的妙啊！說陛下之前要立成妾為宸妃，韓瑗來濟，在殿廷爭風，這若不是深情為國，一般人是不敢跟皇上當面反對皇上的決策的!所以一定要褒賞韓瑗和來濟，以資鼓勵。
韓瑗和來濟果然就上當了，心想這武皇后看樣子也不過如此啊！人也挺憨厚溫和的，挺好相處的。還請求皇上褒獎他們，於是兩人就有點飄飄然了！
韓瑗和來濟心想這事已經過去這麼久，應該沒什麼事了！就在顯慶元年的十二月，便上疏給皇上道：“褚遂良，前因小人離間，被貶潭州，今皇上因召回褚遂良，為國為民都有莫大功勞，朝廷不可一日無褚遂良，不然會釀成大禍的呀！”
李治一看這奏章，當即勃然大怒，說當初這褚遂良以下犯上都頂撞朕至此，你韓瑗來濟還敢來說情，你把朕當傻子呢，誰挑撥離間了！不就是頂撞皇上自個了，如今還不到一年多你韓瑗來濟的膽子也未免太大了，敢黑的說成白的。說有人離間，那不擺明了皇上就是小人麼？
高宗李治見這上疏不高興，當即就你說讓調回來，我就繼續貶，貶到更偏遠的地方去，褚遂良就被貶到了桂州，當時的桂州是廣西桂林，桂林山水甲天下的桂林。來濟和韓瑗雖為宰相也是沒辦法，只能執行皇上的旨意，把褚遂良貶到貴州去了。
就當韓瑗來濟以為這事也就這樣算了的時候，武皇后可不以這樣就算了，她正大睜著雙眼，看誰露出馬腳正愁抓不到把柄呢！誰知這韓瑗和來濟就上當了，居然自投羅網了，這豈不是天意麼？
武媚娘就召來許敬宗說：“許公，本宮見韓瑗來濟，不顧皇上顏面天威，公然要保褚遂良回朝，他們當初反對本宮成為皇后，那是皇上的意思啊？”
許敬宗道：“確實是皇上和民心已經臣等的意思!”
武媚娘笑道：“是啊！可是他韓瑗和來濟就敢詆譭皇上說皇上是為了小人離間才把褚遂良發配到潭州為官的。那至你，我，皇上，民心為小人麼？”
許敬宗聰明人啊！當即就明白了武皇后的意思道：“皇后娘娘英明，這韓瑗和來濟恐怕，已經和褚遂良狼狽為奸，裡應外合了！”
武媚娘笑道：“許公就是知心，你去吧，說了之後本宮安心多了！”
第二天許敬宗上朝奏本道：“皇上臣有要事啟奏?”
李治道：“愛卿請講?”
許敬宗道：“皇上臣看朝廷之中正在醞釀一個大陰謀啊！”
李治說：“哦?什麼陰謀?”
許敬宗言辭鑿鑿道：“皇上那韓瑗來濟，把褚遂良貶官到桂州，明著貶官，實則升官啊！”
李治疑惑道：“哦?有這等事?”
許敬宗說：“皇上，那桂州可是一個好地方啊！能囤糧養兵，易守難攻，是兵家必爭之地。這韓瑗來濟摸準了皇上會貶官褚遂良，就把褚遂良安排到桂州，養兵，以待時機，到時候和韓瑗來濟，裡應外合，攻打長安，逆行造反，請皇上明查？”
