建康城中所疊遭的一系列變故讓志在北伐的庾氏兄弟措手不及，這兩兄弟剛剛把荊、江二州連成一片，康帝突然就病故了，失去朝權的庾氏兄弟只能眼睜睜地看著有擁立之功的何充在朝中大行其道。庾氏精心培養起來的褚太後一家現在反而成為自己的政治對手。
建元二年公元344年）十一月，在埋葬了康帝之後，褚蒜子為了彌合兩大家族間的裂痕，下詔徵召庾冰入朝輔政，而此時的庾冰卻已經身染重病。同月九日，庾冰病死在武昌，時年四十九歲。《晉書，庾冰傳》稱，庾冰“天性清慎，常以儉約自居。”他的一個兒子曾經問公家借了十匹絹，庾冰聽說後，大怒，用棍棒捶打他，並從市場上買來十匹絹還給公家。臨終之時，他對自己的長史江虨說：“我將死了啊，只恨報國之志來不及施展，這是命啊，又能有什麼辦法呢！我死後，用穿著的衣服入殮，不要用公家的東西。”庾冰死後，家裡沒有絹來做覆蓋屍體的被子。另外，庾冰既沒有姬妾，也沒有私産。
雖然庾氏與褚氏頗有淵源，然而，褚裒的妻子就是謝尚的姐姐，因此，褚家與謝家關系更密切。當聽說庾冰去世的訊息之後，褚蒜子下詔任命自己的舅舅謝尚以本號都督豫州四郡，併兼任江州刺史，而此前謝尚是庾翼的下屬，他原先官職的全稱是建武將軍，都督江夏、義陽、隨三郡諸軍事，江夏相，南中郎將。這樣，庾氏控制下的江州又得而複失了。
然而，強硬的庾翼怎麼能讓自己的理想因此而半途而廢呢？他的反應迅速而強烈。他馬上命令長子庾方之駐守襄陽，因庾方之年輕，他讓徵西參軍毛穆之任建武將軍司馬，輔佐庾方之，自己則率領大軍從襄陽迅速南下，還鎮夏口，將庾冰所領的江州之軍全部劃歸自己所有，並任命庾懌之子庾統為潯陽太守。
一時之間，庾氏為了門戶利益與朝廷的攤派似乎已經不可收拾了。看到庾翼的反應如此激烈，朝廷不得不有所退縮，頗有政治智慧的褚蒜子為了安撫庾翼，重新下詔將江州刺史一職交給了庾翼，並甚至將豫州刺史的職務也一併給了庾翼。
然而，庾翼想要的只是江州。江州刺史到手以後，他見好就收，回鎮夏口，推辭了豫州刺史的職務。於是，朝廷又改任謝尚為西中郎將，都督揚州六郡諸軍事，豫州刺史，假節，鎮守歷陽。
這樣，雙方的面子都保住了，一場迫在眉睫的危機暫時得到了化解。後來庾翼還想移鎮樂鄉，但朝廷不許，這次，庾翼也沒再堅持，他開始修繕軍器，徐圖後舉。庾翼後來派益州刺史周撫與西陽太守曹據討伐成漢，在江陽擊敗成漢將領李桓。
對於庾冰的逝世，南康長公主難免又是悲傷一場，但是桓溫卻沒有太多的感觸，可能是因為地位懸殊和性格不合的緣故，他與庾冰從來就沒有進行過多少的交流。不過為了安慰和陪伴長公主，桓溫經常藉故留在建康，已經很少呆在金城了。
永和元年四月，年輕的皇太後褚蒜子希望父親能夠留在朝中，讓自己身邊有一個依靠，於是下詔徵召父親衛將軍褚裒，想任命他為揚州刺史、錄尚書事，但是，褚蒜子的這一計劃，卻遭到了朝中司馬氏皇室勢力的抵觸，褚裒進京之後，吏部尚書劉遐、長史王胡之勸褚裒說：“會稽王司馬昱，有美好的品德，是國家的周公，足下應該將國政交給他。”
於是，褚裒就堅決地辭讓了女兒的這份美意，又回到了京口。因此，太後下詔任命司馬昱為撫軍大將軍，錄尚書六條事。
前途未蔔的桓溫又開始收拾起清談的愛好，趁著金城離建康比較近的這個優勢，經常回建康參加脫口秀，想從旁打探一下朝中的動向。他還在清談活動中結識了一位非常重要的人物——被召為撫軍大將軍，錄尚書六條事的會稽王司馬昱。
會稽王司馬昱是晉元帝司馬睿的幼子，母為簡文宣太後鄭阿春。永昌元年公元322年）二月，元帝下詔封司馬昱為琅玡王，以會稽、宣城兩地作為司馬昱的食邑。鹹和元年公元326年），司馬昱的母親鄭阿春去世，當時年僅七歲的司馬昱非常悲傷，請求晉成帝司馬衍讓自己為母親服重喪，成帝因為憐憫他而允許，鹹和三年十二月公元328年）成帝徙封司馬昱為會稽王，並拜其為散騎常侍。司馬昱幼年時就聰慧異常，深得其父寵愛。當時的名士郭璞就評論司馬昱說：“將來振興晉朝的，一定是這個人。”不過，司馬昱成年之後，清虛寡慾，擅長玄學。
司馬昱進京擔任任撫軍將軍後，他坐床上的灰塵從不讓僕人擦去，見到老鼠在上面走過的腳印，卻認為這樣很好。有個參軍看見老鼠白天走出來，就拿手板把老鼠打死了，司馬昱為此很不高興。他的門客站起來批評勸告他說：“老鼠被打死了，尚且不能忘懷；現在又為了一隻老鼠去損傷人，恐怕不行吧？”
司馬昱曾經有次看見田裡的稻子，但他不認識，就問這是什麼草，近侍回答說是稻子。他回去後，接連三天沒有出門，還嘆氣說：“哪裡有依靠它的末梢活命，而不識其根本的呢！”
在清談上，司馬嶽雖然沒有達到頂級水平，不過也足以進入一流的行列，與桓溫可謂是惺惺相惜。後來有一次司馬昱與桓溫一同上朝，二人多次互相謙讓，要對方走在前面。高邁爽出的桓溫最後實在忍受不了司馬昱的磨嘰，不得已只好走在他前面，於是一面走一面說：“伯也執殳，為王前驅我手裡拿著殳，為會稽王您做先驅）。”司馬昱回答說：“所謂‘無小無大，從公於邁這就是古人所說的‘無論大小臣子，都跟著公出遊’）’。”
總而言之，司馬昱是個清心寡慾、人畜無害的人物，難免庾氏兄弟在康帝駕崩後想推舉他繼位。桓溫覺得司馬昱清談還可以，但在根本上缺乏治國的才能，不過他最近所徵的撫軍掾郗超盡管年輕很輕，倒是一個不凡的奇才。
所謂“一朝天子一朝臣”，晉穆帝的即位，已經讓東晉門閥格局發生了巨大的變化，庾氏再無舅氏之尊，朝中的新貴變成了皇太後家裡的褚氏和皇太後的舅家氏謝。不過，這還不算完。
就在其兄庾冰去世的數月之後，也就是晉穆帝司馬聃永和元年的上半年，庾翼在上廁所的時候，發現一個方形的怪物，並就此染病，背上長出了一個毒瘡。他自知將死，就上書朝廷，請求在他死後，讓自己的二兒子庾爰之代理輔國將軍、荊州刺史。並任命司馬朱燾為南蠻校尉，以一千多人把守巴陵湖南省嶽陽市）。
庾翼的上書發出去之後沒多久，這位心比天高、命如紙薄的奇磊英雄就抱憾離世而去了，終年四十一歲。當真是應了“出師未捷身先死，長使英雄淚滿襟。”的這句詩了。庾翼後來被朝廷追贈為車騎將軍，諡號為“肅”。
聽到庾翼的逝世訊息後，桓溫悲痛萬分，他向褚裒遞交了休假申請，還沒等答複就直趨夏口，要跟這位自己人生當中最知心的導師兼朋友見上最後的一面。在庾翼的葬禮上，桓溫想到了庾翼生前的音容笑貌，想到了庾翼生前與自己一同空許的那些大志，想到了庾翼生前對自己的多番提攜，他象失去至親般的嚎啕大哭，他的哀痛表現甚至感染了庾氏的眾多親朋好友和部下。
至於南康長公主，這些年來這麼多至親接二連三的陸續離世，她已經變得欲哭無淚了，她曾經不斷地抱怨上天的不公，可惜上天還是不斷地把不幸降下來要她承擔，她都快要到心如死灰的地步了，幸虧身邊的桓溫和幾個孩子都沒出什麼意外，這也算是不幸中的萬幸了。於是，她也就不再抱怨些什麼了。
庾翼於永和元年公元345年）七月三日去世後，庾氏家族的影響力一下子從頂峰滑到谷底。庾氏的敗落主要不是來自他人的打擊，而是源於庾氏幾根頂樑柱接二連三的傾倒。庾亮兄弟共有五人：庾亮、庾懌、庾冰、庾條、庾翼。庾亮在鹹康六年因北伐失敗憂憤而死；庾懌因毒殺王允之不成，於鹹康八年自殺；庾冰於建元二年病死；庾條在政治上無甚建樹，僅做到臨川太守就到頂了。
庾亮有三子，長子庾彬在蘇峻之亂中被殺；次子庾羲為散騎常侍；三子庾龢。一年前庾翼將要遷鎮襄陽之時，庾龢年僅十五歲。
