端午比武之又過了十來天，琅琊王師蔡謨又如期來到琅琊王府為小王爺上課。蔡謨在上課的時候發現桓溫同學有點無精打採的樣子，蔡謨以為他患了青春期綜合徵，就趁課間休息的時候問桓溫最近發生了什麼不愉快的事情。桓溫吞吞吐吐地說：“其實也沒有發生什麼大不了的事情，就是有些問題想不明白。”
蔡謨便問他有什麼問題想不明白的，桓溫就說：“我端午比武的時候為王府爭了光，卻被外面的一些人所訕笑，難道朝廷就不需要武力來保護大家的安寧嗎？”
蔡謨說：“這件事情我還沒來得及批評你呢！還不是因為你參加比武時惹下的禍根？這種小孩子鬧著玩的事情我們看看熱鬧也就罷了，你作為一個文官還和他們摻和撕打在一起，這成何體統呢？年輕人吶，總是血氣方剛的，既不知輕重又不顧後果！你倒是跟我說說，別人是怎麼譏諷於你的？”
桓溫說：“也沒有什麼很嚴重的話，只不過我明明是堂堂的琅琊王府的文學椽，他們卻偏偏叫我‘桓武學’，您說這叫人生氣不生氣。”
蔡謨眯著眼睛笑著說：“這是一幫子怎麼樣的人在非議你呢？”
桓溫不好意思地說：“是幾個經常湊在一起清談的朋友。”
蔡謨說：“讓我猜猜，最喜歡清談的小青年都有些誰呢？劉惔？王濛？還是許詢呀？”
看到桓溫微微點頭，蔡謨生氣地說：“又是劉惔、王濛這幾個不成器的頹廢青年。這幾個家夥曾經連老夫都想戲弄，你可要當心給他們帶壞了。”
桓溫奇怪道：“他們還敢戲弄您老人家，真是不知道天高地厚，那您是怎麼修理他們的？”
蔡謨略帶得意地說：“有一次劉惔和王濛專程登門來拜訪我，這兩個損友跟我東拉西扯的，浪費了我不少做正事的時間，最後還竟然損我說：‘您自己說說您比起王夷甫來怎麼樣?’於是我就回答說：‘我怎麼能夠跟王夷甫比呢？我肯定是不如王夷甫呀！’這王仲祖和劉真長兩人當場就交換了一個意味深長的微笑，還繼續追問道：‘您到底是什麼地方不如王夷甫呀?’那我就不客氣啦，我直接回答說：‘據我瞭解，這王夷甫可沒有象你們這樣的客人，所以我是望塵莫及啊！’”
桓溫聽到了這個故事後，覺得蔡謨這個平時一本正經的老頭還是有其機智風趣的一面的，他不禁笑了出來，趁勢附和蔡謨說：“王仲祖和劉真長在您面前豈不是班門弄斧，自討沒趣？”
蔡謨得意地說：“可不是嗎？那兩個損友聽到我這樣繞了個圈子譏諷他們，怪不好意思的，就連忙告辭了。”
桓溫說：“聽了您的這個故事，我覺得大為解氣。不過這兩人清淡的水平確實很高，尤其是劉惔，我覺得都快要接近殷淵源了。”
蔡謨勸誡桓溫道：“別因為看到這兩人憑借清談的本領得到貴族高門的另眼相看就跟著學他們，你的底子跟他們不一樣，你應該為自己的將來開闢出一條真才實幹的道路。本朝之所以形成了重文輕武和崇尚清談的風氣，王司徒實在是責無旁貸。做人嘛，既不能抗拒當下的潮流，又不能因為隨波逐流而喪失自我。”
桓溫恭謹地說：“老師教訓得是，我今後一定要好好把握清談的這個度，努力做到得大於失。”
不過，鬱悶歸鬱悶，清談對於初進官場的桓溫來說還是有莫大的吸引力的，加上琅琊王府的工作比較悠閑，不久之後，他又忍不住繼續跟這班清談的發燒友混在一起了。
一個時代的風氣的形成，與當時的社會政治環境有莫大的關系。清談啟自東漢的郭泰，成於魏晉的阮籍。他們都是些避禍遠嫌、政治消極的人物。清談的興起，大概是由於東漢末年飽受黨錮之苦的諸名士在遭到政治暴力的摧殘與壓迫後，把具體評議朝廷人物任用當否的清議，而改為抽象玄理的討論。
玄學産生的初衷本是為瞭解決當下政治、道德與人生理想的諸多難題，所體現的是一種士大夫式的高遠的價值理想和精神追求，其著眼處與老莊道家略有不同。倡立正始玄風的何晏、王弼等人所發起的有關天人、有無、體用、本末等命題的辯論，無一不涉及社會的諸多熱點問題，骨子裡無一不關注政治關系的調整，陳寅格先生早已指出，清淡一事，雖為空談老莊之學，而實與當時政治社會有至密之關系，決非為清淡而清談，故即謂之“實談”亦無不可。見《陳寅烙先生編年事輯?附錄》）。
為了避免政治當局的猜疑和，清談者們後來逐漸把逼格提得越來越高，變得專談名理而不談政事。當清談的逼格一高，自然就有高人來湊熱鬧，後來加入清談館的山濤、王戎、王衍等名士，集尊顯的達官與清高的名士於一身，既享受朝廷的富貴，又標榜林下的風流，成為歷史上名利雙收的案例。
魏晉時期之士族，淵源流傳長至可達數百年，此等官宦人家族人眾多且擁有巨大的社會財富，在社會上常居於支配地位。因此亦常為政府所依賴。
溯源東漢之世，大族做官者尤多，至東漢晚期，士族成為社會上的特殊階層，及至魏文帝時陳群倡言建立九品中正之制後，國家選拔官吏只看家世出身，導致門閥士族壟斷了政府的重要官職，成為政治之核心力量，他們又透過大族之間的互相聯姻，在統治階級內部構成了一個門閥貴族階層，並逐漸形成了一整套的代代相傳的特權制度，即“門閥政治”。
及至中原士族大家帶領其原有部曲渡江擁戴司馬睿元帝）而創立的東晉王朝，那些南渡計程車族們以皇室為旗號，得以在江南立足並重獲其原先所擁有的各種權勢與財富。這個茍安江南的局面對於多數已經重獲權勢與地位計程車族來說絕對是稱心適意的，因此穩定乃至固化對自身有利的門閥政治、減少政治摩擦是統治階層的主流的內在需求，這種內在的需求反映到經濟層面，就是倡導輕徭薄賦、勸課農桑等自然無為的政策，反映到思想層面上，就是在精神方面追求曠逸出世，不問俗政。
飽暖思裝逼，中國歷史上沒有任何一個朝代計程車人能夠象東晉計程車族那樣的人格獨立和精神自由，他們皆擁有廣袤的莊園，整個士族的家庭只需要有一、兩個人在朝中當官，以支撐著門面和作為政治保障，其他的族人就可以過著非常優渥的生活，他們有充分的條件去意識和發掘自我之可貴、生命之可貴、智慧之可貴、情趣之可貴、美學之可貴以及文學藝術之可貴。
在這種獨一無二的歷史契機下，玄學就在東晉由潛學一舉華麗轉身為顯學，而清談也就逐漸從在野黨的影射發洩工具晉升為上流門閥派系之間的溝通交流工具，不但清談的內容和形式隨之改變，就連清談的門檻都大大提升，甚至成為廁身政壇的墊腳石。能夠參與清談沙龍不但是名士的資格象徵，還有可能因為在清談當中的高逼格語錄而一鳴驚人，並得以在政治上平步青雲。
把桓溫重新帶進建康清談圈的是清談新晉劉惔。劉惔字真長，沛國相縣人，乃晉陵太守劉耽之子，與其兄劉粹、其弟劉潢被時人稱贊為：“洛中雅雅有三嘏。”劉惔年少時清明遠達，有風度才氣，與母任氏寄居京口，他家中貧窮，靠編草鞋為生，劉惔雖住在蓽門陋巷，但卻怡然自得。起初未被人重視，唯獨司徒王導十分器重他。後來劉惔日漸知名，被時論比作袁喬，劉惔聽說後很高興，回家把這件事告訴任氏。任氏是個聰明的人，她說：“你是無法與他相比的，不要接受。”後來又有人拿他跟範汪比，他又很高興，但是他母親任氏還是不許他接受。劉惔成年後，好事者便把他比作荀粲，這回他倒是接受了，因為他母親已經在地底下不能再說話了。
劉惔一生當中最高的成就當屬成為了桓溫人生當中第一個相愛相殺的對手，這是一個信奉老莊、崇尚無為的男人與另外一個口中屢出玄言，但骨子裡面卻有儒風的自強不息的男人之間的生命糾纏。
在桓溫初進琅琊王府的時候，有一次在吏部對他們這些低階文官所開設的業務培訓課上聽《禮記》，菜鳥桓溫覺得講臺上的老濕講得實在太好了，不由得感嘆道：“時有入心處，便覺咫尺玄門”，沒想到坐在旁邊的與自己年紀差不多大的劉惔童鞋卻投來鄙夷的一暼，還不以為然地來了一句：“此未關至極，自是金華殿語”。金華殿是漢成帝聽鄭寬中、張禹講《尚書》和《論語》的地方，而桓溫僅僅聽了些儒學的解釋就竟然覺得自己已經悟到了接近道家玄門的境界，難免被劉惔認為這廝頂多達到儒學的水準，還遠夠不著玄學的逼格。
桓溫不服氣地說：“那你有本事我跟我形容一下這玄門的境界到底是咋樣的？”
劉惔淡定自信地說道：“我們在這裡咬耳朵不太好，下了課你跟我來，我包可以令你大開眼界！”於是，桓溫從此就被拉進入了以劉惔和王濛為核心的新晉潮流清談圈。
桓溫以往不怎麼喜歡讀書，但是進入了清談沙龍之後他發現如果自己再不努力學習，他就會成為一個只能仰望別人風采而自己只能做只應聲蟲的人，更嚴重一點的話，他甚至以後再也收不到清談沙龍的門票，這迫使桓溫在清談的時候要聚精會神，不清談的時候也要博覽群書。
從桓溫的父親桓彜南渡的時候起，龍亢桓家一直族單勢弱，為了在官場上獲得重生的機會，桓彜長袖善舞，經常與畢卓、王尼、阮放、羊曼、桓彜、阮孚等名士放歌縱酒，經他少年時的好朋友——潁川庾氏的庾亮舉薦，起家為州主簿。晉元帝登基後，桓彜就因擁戴的功勞成為名士兼名臣，又與汝南周氏的周顗、太原溫氏的溫嶠結成好友，甚至連琅琊王氏的王導也樂意向朝廷推薦他，桓彜被任命為安東將軍、浚遒縣今安徽肥東縣境）縣令。由於他的才華和治理能力，短短三、四年間，就晉升為中書郎、尚書吏部郎，名顯於朝廷，受到當時擅權朝政的王敦猜疑和嫉恨。桓彜擔心由於王敦的嫉恨，會給整個桓氏家族帶來滅頂之災，於是自動以身體有病為由，辭官返回宣城符裡鎮。不久之後，晉元帝駕崩，明帝繼位，庾亮再薦桓彜為吏部郎。王敦預感到自己的權力將被削弱，遂提前領軍叛亂，反抗朝廷。桓彜極力支援朝廷平叛，明帝擢升其為散騎常侍，參與朝廷的軍機大事。憑著特有的智慧和能力，桓彜很快成了這位新皇帝的智囊。王敦的叛亂被平定之後，桓彜因其出謀劃策的特殊功績，被封為萬寧縣開國男，這才使得自己的家族勉強夠到了士族的及格線。
鑒於桓家家族的勢單力孤，桓溫起家後固然希望能夠在高尚的清談活動中領悟到高超的見識和智慧，同時他希望能夠在清談館中申明志向，邀引同類，能夠在這個圈子當中從中結識到一些象袁耽、庾翼那樣的意氣相投的同道中人，但是很可惜的是，他不久之後就發現，在這個清談的圈子當中，他的同類永遠都是少數派。
在東晉的清談名士當中，既有把清談當做目的的，也有把清談當做手段的。如果只是在野的林泉隱逸空談玄理，則縱使無益於國計民生，也不致誤國害民。但若是在朝廷中執政的達官崇尚虛無、口談玄遠，不屑綜理世俗之務，甚至大力推薦提拔同好進入朝廷，那後果就相當的嚴重。
桓溫基本上屬於那種把清談當做手段的人，但是他與其他把清談當做手段的人明顯不同。從童年開始就被溫嶠以劉琨的故事相喂的桓溫是一個有著遠大志向的人，既然清談只是他躋身政壇的手段，那麼他註定不會在清談上投入最大的熱情。附庸風雅的他一方面在清談當中體驗和見識到了卓越思想的優美，另一方面卻覺得自己從骨子裡面與那些純粹為清談而清談計程車族扞格不入，而出身高貴計程車族們通常崇尚不涉及實務的清談，希企優遊自適的隱逸，將以前分秒必爭、銳意建功立業的行為視為“貪競”而加以鄙視。因此，桓溫雖然在清談上訓練出良好的邏輯思維能力和語言表達能力，甚至逼近“操兩可之說，設無窮之詞”的至高境界，但是始終沒有與清談圈子裡的核心人物在心理上達至融合無間的地步。
桓溫與清談圈的隔膜還在於嗑藥和家世的問題：
一方面，桓溫是練武之人，他也曾經在少不更事的時候跟袁耽等人一起服過五石散，但是他對於服藥後所起的副作用很是不爽，加上後來家貧和矢志複仇，就把服藥這門愛好給斷絕了。清淡的時候一般不嗑藥，但清談圈中的人大多有嗑藥的嗜好，當大家約在一起嗑藥的時候，屢屢不參加的就難免見外了。
另一方面，在那些士人之間相互敘家世的時候，家世寒微的桓溫感覺自己總有低人一等的感覺，其實，有了他父親在前面的打拼乃至以命相報於朝廷，到了桓溫這一代，家門的名望已經是大有改觀了，他真的很想知道自己的父親當年是怎樣從低微的門第當中苦熬出來的。
魏晉時代計程車族非常重視編撰家譜，講究士族世系源流，作為自己享有特權的憑證，於是譜學勃興，譜學專著成為吏部選官、維持士族特權地位的工具。桓溫進入了清談圈後開始關心自己家族的源流和背景，可是他發現自己龍亢桓氏的譜系傳承相當的紊亂。他只知道父親聽說過他們桓家出自東漢一個有著鼎鼎大名的大儒桓榮之後，但是其後有一個階段就連他父親生前也不願意向自己交代清楚。不過，這事情難不倒我們這位具有強大好奇心和偵探頭腦的主人翁，經過桓溫刻意翻查各種史料和譜學，並從中加以自己的大膽想象和合理推斷，他感覺到這裡面可能隱藏著一個非常重大的歷史秘密。
