郗超離開姑孰後不久，與桓溫感情最好的弟弟、江州刺史桓沖前來探望大哥了。桓溫便向他交待了自己的一些後事安排。
桓沖順便問大哥對於謝安和王坦之應該如何處置。桓溫回答說：“這二人不是你所能安排的人。”他清楚地知道謝安和王坦之二人都曾經對自己使過壞，但是，他們站在自己的立場上這樣做也沒有什麼不對。如果使用武力將此二人誅殺，不過就是吹灰之力而已，但是這樣對桓沖乃至整個桓氏家族並沒有什麼好處，而且還給弟弟留下了誅殺朝廷賢臣的惡名。桓溫深知自己這個弟弟的性格和能力，他明知這個自己喜愛的弟弟並非宰相之才，但非常值得自己信賴，因此要把自己的政治遺産完全託付給他，並讓他今後盡力照顧自己的么子桓玄。
桓溫讓桓沖千萬不可輕舉妄動，而是要憑著自已的實力經營好自己的地盤，這樣，王、謝兩家自然會忌憚，凡事也會給幾分面子。在北方苻秦勢力虎視眈眈的情況下，幾家最大的門閥必須都團結起來才能夠應對隨時而至的大兵壓境。
在病痛的折磨中，桓溫一再陷入半昏迷狀態。熬到寧康元年公元373年）七月，桓溫終於撐不住了。在彌留之際，所有的前塵往事又一幕幕在他的腦海中變幻不定：他有時正在手刃仇人，有時又在舞文弄墨；他有時在青梅竹馬，有時又在爭風吃醋；他有時在戰場上浴血奮戰，有時又在密室裡面策劃政治陰謀；他有時看到了至親的父母就在自己的跟前，有時又面對著面目猙獰的對手和敵人；他有時在大宴賓客，有時又在獨自愁傷；他有時夢到了鐵馬冰河，有時又見到了鶯歌燕舞。
桓溫彌留之際，他的家族內部卻不得安寧。桓溫臨死前因為世子桓熙的才具較弱，便指示讓桓沖繼承他的軍政大權。早就對大哥桓溫心懷不滿的桓秘於是竄通了桓熙和桓溫的二子桓濟，陰謀殺掉桓沖以奪權。桓沖私下獲知了這一陰謀，便不敢單獨進入桓溫的臥室探視兄長。等到桓溫去世之後，桓沖便先派武士拘捕了桓熙和桓濟，等自身的安全得到保障後，才為桓溫辦理喪事。其後，同謀的桓秘也被家族所唾棄，被置於桓溫墓所附近賦居。而桓熙和桓濟則一塊被遷徙到長沙。
桓溫逝世時，年六十二。攝政的崇德皇太後與幼帝臨於朝堂三日，詔賜九命袞冕之服，又朝服一具，衣一襲，東園秘器，錢二百萬，布二千匹，臘五百斤，以供喪事。在他的葬禮上，又依太宰安平獻王、漢大將軍霍光故事，賜九旒鸞輅，黃屋左纛，縕輬車，輓歌二部，羽葆鼓吹，武賁班劍百人，優冊即前南郡公增七千五百戶，進地方三百裡，賜錢五千萬，絹二萬匹，布十萬匹，追贈丞相。朝廷的這種追贈和喪禮待遇，可以說讓桓溫死後備極哀榮，跟得不得到“九錫”已經沒多大區別了。
桓溫逝世後，朝廷任命桓沖為中軍將軍，都督揚、豫、江三州諸軍事，揚、豫二州刺史，仍鎮姑孰，繼承了桓溫實權；加右將軍、荊州刺史桓豁為徵西將軍、督荊、揚、雍、交、廣五州諸軍事；加桓豁之子、竟陵太守桓石秀為寧遠將軍、江州刺史，鎮尋陽。
桓沖聲稱根據桓溫的遺命，以年僅四歲的桓溫的小兒子桓玄為嗣，繼承桓溫南郡公的爵位，成為龍亢桓氏名義上的領袖。
桓溫死後即葬於姑孰青山之北麓，該山因此又名桓墓山。桓玄稱帝後，曾追尊其父桓溫為宣武皇帝，“號桓溫墓曰永崇陵，置守衛四十人。”。桓溫卒後九十年，南朝劉宋孝武帝劉駿於大明七年公元463年）冬十月“甲子，館行宮於南豫州城。丙寅，聽政於行所。十一月丙子，小會行所，登白紵山，使使祭晉大司馬桓溫、毛璩等墓，置守冢三十戶。”
顧愷之在拜桓溫墓時，作詩雲：“山崩溟海竭，魚鳥將何依？”人問之曰：“卿憑重桓乃爾，哭之狀其可見乎？”顧曰：“鼻如廣莫長風，眼如懸河決溜！”
對於桓溫的評價，在歷史上可謂是眾說紛紜，不過絕大多數的評論者都是在其歷史功過和政治圖謀上進行功利性和道德性的評判，其中能夠真正理解他那豐富多姿的內心世界的人卻寥寥無幾，而南宋的辛棄疾則是其中最有代表性的。
中國歷史上極少有像桓溫那樣既有火一般的性格，又有冰一般的理智的大人物。在冰與火的交煎下，在歷史造就的侷限性當中，桓溫在其個人的功業上並不完美，他在理想與現實、抱負與能力的矛盾當中奮力前行，到了最後的關頭卻能夠及時止步，不知道可以算是一個成功的失敗者，或者可以算是一個失敗的成功者。他既做不到流芳千古，甚至連遺臭萬年也做不到，只剩下《世說新語》裡面記載的一些雋永的段子作為人們茶餘飯後的消遣。
唯獨在人性上，桓溫可以說是一個成功的慾望自我控制者。哈姆雷特式的猶豫屢次讓其在軍事上無法取得最佳的戰績，但是在政治上卻避免了最壞的後果。
《道德經》有雲：“勝人者有力，自勝者強。”
要做的無欲無求固然很難，要做到欲壑不填則更是難上加難。桓溫憑借豐厚的情感和銳利的理智，在最後的關頭以趨利避害的理性算計壓抑住了猛虎出閘般的獸性沖動，以適可而止的高階智慧精確地劃定了本能慾望的延伸邊界，這種叩橋而不渡的理性光輝不但惠及了東晉皇室、東晉王朝頂層政治格局中的那幾個大門閥，也是天下的蒼生百姓。
可惜的是，桓溫在理性上的精神遺産並沒有能夠傳給自己的子孫後代乃至整個民族。桓玄篡位後給整個家族所帶來的災難性後果就不用提了，而明朝末年清軍進關後，在黨爭當中內訌不已的南明政權沒能抵抗多久就轟然崩坍了，這就連當年偏隅江左的東晉小朝廷都遠遠的不如，這其中的區別，難道不值得人們去深思嗎？要是袁世凱在稱帝前能夠有桓溫那般的理性，他還用得著後悔莫及嗎？
願天下所有的大權在握者心存敬畏！
