胡銓當年反對和議，上書要殺了秦檜以謝天下，已經被貶到福州，但是這個事情沒完。
紹興和議以後，右諫議大夫羅汝楫受秦檜指使，再次彈劾胡銓文過飾非，於是胡銓再被奪取功名，貶到更南方的新州今廣東新興）編管。
當時旅居福州的詩人張元幹義憤填膺，作了一首詞來送別胡銓，詞的名字叫《賀新郎·送胡邦衡待制赴新州》：
夢繞神州路。悵秋風、連營畫角，故宮離黍。底事崑崙傾砥柱，九地黃流亂注。聚萬落千村狐兔。天意從來高難問，況人情老易悲難訴！更南浦，送君去。
涼生岸柳催殘暑。耿斜河，疏星淡月，斷雲微度。萬里江山知何處？回首對床夜語。雁不到，書成誰與？目盡青天懷今古，肯兒曹恩怨相爾汝！舉大白，聽金縷。
張元幹這首詞的字裡行間都在發問，大宋的萬里江山去哪了？但他更注重的是抒發一種送別的哀愁，因為胡銓去的地方連去南方過冬的大雁都飛不到。
隱居瀘溪今湖南湘西瀘溪縣）的詩人王庭珪也寫了兩首七律詩為胡銓送行：
囊封初上九重關，是日清都虎豹閒。百辟動容觀奏牘，幾人回首愧朝班？
名高北斗星辰上，身墮南州瘴海間。不待他年公議出，漢廷行召賈生還。
大廈元非一木支，欲將獨力拄傾危。痴兒不了公家事，男子要為天下奇。
當日奸諛皆膽落，平生忠義只心知。端能飽吃新州飯，在處江山足護持。
他這首詩的大致意思是為胡銓打抱不平，但是裡面有“當日奸諛皆膽落”，好像是有諷刺當今奸相的意思。
當時很多文人即使賦詩作詞諷喻時政，也是非常的隱蔽，生怕被秦檜抓住把柄，但王庭珪這兩首詩卻是直言不諱。
第一首詩直譯是這麼個意思：
胡銓的奏摺闖過艱難險阻送達朝廷，恰好這天秦檜的走狗都很清閒。
於是百官們驚恐地看著奏摺的內容，卻沒有幾個人羞愧於不敢發聲。
胡銓的名聲威望高北斗，卻被貶到南海邊的毒瘴之地。
用不了幾年後公正的評議一出，朝廷一定會將胡公重新召回給予重任。
詩文一開頭就把矛頭對著秦檜，說胡銓作為一個小官，面對層層阻礙，要使自己的仗義執言上達天聽是多麼不容易，可朝廷上下卻被秦檜的爪牙所把持。
張元乾的詞，王庭珪的詩，不僅文學感染力很強，而且很接地氣，和當時人們所關注的時事聯絡在一起，又與當時轟動朝野的胡銓上書有很大的關聯，於是在民間悄悄地流傳開來。
不過這些詩詞傳到秦檜的耳朵裡，是幾年後的事情了。
胡銓在新州過了六年的太平日子，直到有一天，秦檜的小舅子王鈇音夫）升官到廣南東路當經略使兼廣州知州，他特意來到新州，召見了新州的守臣張隸。
“老張啊，趙鼎和李光現在都去了海南島，為什麼胡銓還在你這裡？”他言下之意就是胡銓也應該早就到海南去過苦日子了。
張隸當然知道這是秦檜的意思，於是就千方百計搜刮胡銓的罪狀。
胡銓一介文人，又是正義之士，哪來的小辮子給張隸抓呢？張隸找了半天，終於給他找到個突破口。
胡銓曾經寫過一首詞，詞的名字是《好事近》：
富貴本無心，何事故鄉輕別？空使猿驚鶴怨，誤薜蘿風月。囊錐剛要出頭來，不道甚事節。欲駕巾車歸去，有豺狼當轍。
這首詞的大致意思是：我本無心富貴，為什麼落了個遠離故鄉的下場？我欲乘風歸去，卻有豺狼當道，擋住了我的去路。
於是張隸就上奏朝廷，說胡銓埋怨朝廷，簡直肆無忌憚，把朝廷比作豺狼虎豹。
接下來，張隸再接再厲，發現胡銓還寫過一首詩：“萬古嗟無盡，千生笑有窮。”
他又上書朝廷，說北宋宰相張商英自號“無盡居士”，“萬古嗟無盡”是諷刺宰相，“有窮”是指夏商周的夏朝有窮氏首領后羿，“千生笑有窮”就是嘲笑君主。
秦檜收到奏摺當時就就樂了，他沒想到張隸一個小小地方官還這麼有才華，他於是立馬上報給了趙構，趙構一看，好像還真是這麼回事。
最後，可憐的胡銓終於被貶到了天涯海角的海南島吉陽軍。
張隸還特意安排一個兇惡的下屬遊崇押解胡銓，不出意外的話，胡銓就會死在押解途中。
可雷州今廣東雷州）守臣王趯音越）同情胡銓，在胡銓路過雷州的時候，以販賣私茶罪逮捕了遊崇，還送給胡銓一筆路費，讓胡銓順利的到達了海南。
張隸因為這個案子，升官到了湖北任荊湖北路常平茶鹽公事，又是一個壟斷商業的肥缺。
