鹹康二年336年）的一個春日裡，南琅琊郡衙門正式奠基，為了紀念這個不同尋常的日子，桓溫在衙門的後院裡親手種下五棵柳樹的幼苗，他一邊種樹，一邊心裡唸叨著：“小樹苗，你要給我好好長大，等到你們枝繁葉茂、腰大十圍的時候，也許我就已經功成名就，解甲歸田了。到時候我一定要再來看看你們！”
正當桓溫在心裡默默唸叨的時候，一個衙門的快馬進來通報了一個好訊息，他的第一個孩子已經出生了。桓溫吩咐了身邊的郡丞幾句後，就拋下公務，快馬加鞭地孤身返回建康。
桓溫見到了自己的親生兒子之後難以掩蓋自己的激動心情，孩子的名他早就想好了，就是象徵興隆和光明的“熙”字。他心想：“老子不避辛勞地在外面打拼，最終還不是要把功業傳給你。你得跟老子所種的柳樹一樣茁壯地成長。”
遇上了長公主頭胎生男孩的喜慶事，上至皇上弟弟，下至文武百官，難免又要熱鬧一場。等到桓溫再趕回金城南琅琊郡衙門的時候，已經是差不多一個半月後的事情了。衙門正式落成後，大家就有很多工作要開展了。可是桓溫讓大家在第一年裡面最好啥事都別幹，就算發現民間有糾紛，也要本著息事寧人的態度，不告就不理。不過一旦不得不要出面處理，就一定要幹好，免得在百姓當中落下不好的口碑。
經過一年多的無為而治後，南琅琊郡因為有免調政策，官府又不幹擾民生，漸漸地人氣也就旺起來了。在第二年裡，桓溫也要手下官吏別去擾民，但是派了一些人到各處訪查，暗中瞭解各個地方的真正人口狀況，以便為今後實施土斷做準備。
經過兩年的休養生息，南琅琊郡的人口流入增加了不少，經濟也逐漸地繁榮起來了，郡治金城附近甚至出現了一個民間自發組織出來的草市。
桓溫在南琅琊郡的舉動甚至引起了在朝中當政的司徒王導的注意，王導當時已經是六十多歲的人了，抱著得過且過的心態，他再也意願，而且也沒有精力去大動幹戈地推行一些虛耗自己元神的重大的政策。不過，當王導看到自己當年的政治理想被一個不知天高地厚的愣頭青撿起來使用時，他對於這個愣頭青還是能夠刮目相看的，盡管桓溫看起來明顯是庾亮那一派的，但是他跟自己那行事乖張的兒子似乎又挺合得來，這倒是一件值得奇怪的事情。
鹹康三年337年），庾亮屬下的長史、第一流的清談大咖、中軍將軍殷浩有一次進京辦事，可能是為了緩和與庾亮間的緊張關系，王導決定親自出馬與殷浩進行一場脫口秀，他不但約了左長史王濛、藍田侯王述、鎮西將軍謝尚這些平時就已經很出名的大咖，還特意邀請了桓溫這位平時自己不怎麼在意的清談新秀。至於為什麼忽略了另一位比殷浩還略勝半籌的大咖劉惔呢？這是因為在桓溫的攛掇下，劉惔已經不得不尚了晉明帝的女兒廬陵公主司馬南弟，近來他正處於糾結的蜜月當中，說不定當這場轟動一時的脫口秀正如火如荼地進行的時候，廬陵公主的臭腳丫正好壓在劉惔的脖子上。
脫口秀開始後，王導先是離座親手去解下掛在帳帶上的拂塵，對殷浩說：“我今天要和您一起談論、辨析玄理。”接著兩人就你來我往地進行了一場異常激烈的唇槍舌劍。兩人巧設機關，密佈陷阱，就等對方自投羅網；偏偏對方也是小心翼翼，步步為營，三過家門而不入。這真是棋逢對手，將遇良才，他們象鴨子拌嘴一樣不停地來回詰難，根本沒有空隙留下了給旁聽的那些大咖們插嘴。兩人一直脫到三更時分，誰也沒能說服誰。不過王導畢竟年紀老邁，就示意停下了這場足以載入史冊的脫口秀表演。
經過這輪盡情的辯論以後，王導慨然嘆道：“俺一向談淪玄理，竟然還不知道玄理的本源在什麼地方。至於言辭和比喻不能互相違背的道理，正始年間的清談，不就是這樣的的嗎？”第二天早上，桓溫私下告訴別人說：“昨夜俺聽殷、王兩人清談，心裡覺得非常的美妙。謝仁祖躍躍欲試的，一點也不感到寂寞，我也時時心有所會，百感交集。再回頭看那兩位姓王的屬官，就活像身上插著漂亮羽毛扇的母的寵物犬一樣。”
到了南琅琊郡佔有實土後的第三年，也就是鹹康四年公元338年），桓溫才開始指示手下官吏對整個南琅琊郡進行全面的人口普查和戶籍登記工作。在桓溫強勢而有力的督促下，南琅琊郡的戶籍登記聲勢浩大地推進起來，在戶籍登記檢查當中，如果發現還未土斷、還未改易白籍為黃籍的僑人，不論是王公貴族還是庶人，都要把他們的白籍改為黃籍。
土斷和統一戶籍的目的在於讓僑人納稅服役，士族既然也同樣是土斷的物件，那麼，他們在土斷後，雖然可以不必與庶人一樣“懷下役之慮”，但交稅是必須的。
西晉有蔭親之制，官吏和他們的親屬多者九族，少者三世，都是可以免稅的。土斷是對西晉稅制的一次重大改革。從鹹和二年的第一次土斷起，東晉官吏及其親屬從理論上就已經從可以免稅的特權階級而轉化為納稅義務人。可是因為庾亮的政治魯莽，蘇峻被逼反了，這就導致了土斷這一項非常有意義的重大政策完全被打斷了。蘇峻之亂平定後，經過幾年的休養生息，在形勢上又到了需要舊事重提的時候了，在理論上，當年頒布的土斷的一系列的法令至今一直都在生效，可是，誰願意挑這個頭去執行呢？
高度渴望出人頭地的桓溫想成為土斷的執法先鋒，那琅琊郡就成為了他的試驗田。不過這可不是一塊容易啃的骨頭，因為他的做法深深地觸動著境內一批當初就隨元帝南渡的原琅琊國士族及其後裔的切實利益，這些人當中還有不少是位高權重的，著名的琅琊王家就是他們當中的佼佼者。不過，為了整個政治大局著想，琅琊王家是基本上支援土斷的。
桓溫仗著自己的皇親身份，強力推進，終於把南琅琊郡的人口狀況全部釐清，為今後正常的徵調收稅打下了基礎。
鹹康四年公元338年）五月，也就是石虎大軍與慕容部昌黎之戰後不久，東晉朝廷以司徒王導為太傅、都督中外諸軍事，以郗鑒為太尉，庾亮為司空。到了六月，又重新設定丞相一職，以王導為丞相，此時的王導達到了一生地位當中的頂點。
當時王導的主政顯得頗為顢頇，只能在表面上大體維持著安定的局面，各個地方上卻是暗流洶湧，王導所委派的趙胤、賈寧和匡孝等諸將都是桀驁不純的人物，朝中人士常為此感覺擔憂和不安。陶侃逝世前就曾經打算因為這些原因起兵趕王導下臺，但因為坐鎮京口的大軍閥郗鑒不同意，這才作罷。
庾亮兼併了陶侃的地盤後，又成為了朝廷上一股尾大不掉的方鎮勢力，他哪裡還能容王導這個老糊塗這麼得瑟，於是他又動起了廢黜王導的心思，庾亮先寫信給郗鑒，向他陳述了王導的過錯，並客氣地徵求郗鑒的意見：
“昔於蕪湖反覆謂彼罪雖重，而時弊國危，且令方岳道勝，亦足有所鎮壓，故共隱忍，解釋陶公。自茲迄今，曾無悛改。
主上自八九歲以及成人，入則在宮入之手，出則唯武官小人，讀書無從受音句，顧問未嘗遇君子。侍臣雖非俊士，皆時之良也，知今古顧問，豈與殿中將軍、司馬督同年而語哉！不雲當高選侍臣，而雲高選將軍、司馬督，豈合賈生願人主之美，習以成德之意乎！秦政欲愚其黔首，天下猶知不可，況乃欲愚其主哉！主之少也，不登進賢哲以輔導聖躬。春秋既盛，宜複子明闢。不稽首歸政，甫居師傅之尊；成人之主，方受師臣之悖。主上知君臣之道不可以然，而不得不行殊禮之事。萬乘之君，寄坐上九，亢龍之爻，有位無人。挾震主之威以臨制百官，百官莫之敢忤。是先帝無顧命之臣，勢屈於驕奸而遵養之也。趙賈之徒有無君之心，是而可忍，孰不可忍！
且往日之事，含容隱忍，謂其罪可宥，良以時弊國危，兵甲不可屢動，又冀其當謝往釁，懼而修己。如頃日之縱，是上無所忌，下無所憚，謂多養無賴足以維持天下。公與下官並蒙先朝厚顧，荷託付之重，大奸不掃，何以見先帝於地下！願公深惟安國家、固社稷之遠算，次計公之與下官負荷輕重，量其所宜。”
信中，庾亮首先回顧了當年陶侃欲廢黜王導，自己反複勸阻的往事，然後，庾亮又指出了王導在成帝身邊安插“武官小人”，愚弄皇上。等成帝成人之後，王導又“不稽首歸政”，以致“萬乘之君，有位無人”，這是指鹹康元年公元335年）成帝加元服後，王導仍然不歸政於成帝。
不過庾亮的想法最終也沒有得逞，姑勿論郗氏與王氏家族之間的私誼，頗有政治見地的郗鑒是不會同意因為政見不同就要大動幹戈的，這會令已經飽受動亂之苦的百姓情何以堪呢？
雖然庾亮廢黜王導的計劃未遂，但是，庾亮雖然身在外藩，心裡卻想幹涉朝政的做法令王導感到十分的不滿。《世說新語，輕抵》記載：“庾公權重，足傾王公。庾在石頭，王在冶城坐。大風揚塵，王以扇拂塵曰：‘元規塵汙人。’”元規就是庾亮的字。
到了鹹康五年公元339年），南琅琊郡的所有政務都已經納入正軌，還在考評當中被吏部列為優等。不過，這對於朝中而言，只是一件微不足道的小事，在這一年裡面朝中所發生的最大的事情，莫過於庾亮私自殺了陶侃之子陶稱。
陶侃死後，陶稱在庾亮治下任南蠻校尉、南平太守，因為庾亮在荊州和江州正在一點點地根除陶侃的勢力，陶稱兔死狐悲，深感危險向自己日漸迫近。於是他偷偷向王導打小報告說：“亮當舉兵內向，密為之防。”王導一貫是個以靜制動，以不變應萬變的老狐貍，他表面上作不以為然狀，回信應道：“吾與元規休慼是同，悠悠之談，宜絕智者之口。則如君言，元規若來，吾便角巾還第，複何懼哉！”意思是我和庾元規休慼與共，傳說中我們哥倆不和的那些話都是謠言，到了智者那裡就不會再流傳了，即使庾元規真的帶兵廢黜我，來就來唄，那我就解職回家，又有什麼可擔憂的？王導最後還說：庾亮是皇帝的大舅，你應該服從他的命令。這陶稱也就徹底絕望了，誰叫他老爸當年也曾經想過要廢黜王導了。
不過呢，王導的這番話純粹是以退為進的，其實王導和庾亮間的矛盾早已公開的秘密。由於王導表面上所採取的無所謂的高姿態以及及時地做了一些暗底下的政策調整，後來庾氏與王氏間矛盾也確實逐漸緩和一些了。
早在鹹康五年公元329年）年初，庾亮就開始計劃北伐事宜。為了做好北伐的準備工作，庾亮上表請求朝廷任命駐守在襄陽的桓宣為都督沔北前鋒征討軍事、平北將軍、司州刺史，鎮襄陽；其三弟臨川太守庾懌為監梁州、雍州二州諸軍事、梁州刺史，鎮魏興陝西省安康市）；其五弟西陽太守庾翼為南蠻校尉，代理南郡太守，鎮江陵。上述三人皆假節。庾亮又將豫州刺史的職務讓給徵虜將軍毛寶，並以毛寶監揚州之江西諸軍事、豫州刺史，與西陽太守樊峻一同率領精兵萬人駐守邾城湖北省黃岡市西北）。任命建威將軍、南平太守陶稱為南中郎將、江夏相，讓他率領本部兩千人進入沔水即漢江）中游地區。
當陶稱來到夏口見庾亮的時候，僅帶領了二百名親隨，庾亮在接見陶稱時，當眾指責其前後的罪惡，陶稱謝罪而出。庾亮命人在屋外將其拿下，當即就斬了首。此時庾亮並無使持節平時可殺無官位之人，戰時可斬殺二千石以下官員）以上的職權，根本就沒有斬殺陶稱的權力。陶稱之死，當然與其離間庾亮與王導之間的關繫有關，本質上卻是誅滅異己的行為，從此庾亮也就大體上消除了陶氏遺留在荊州的勢力。
為此，庾亮上書成帝自我辯護，說出了陶稱四個罪過：
一是“父亡不居喪位，荒耽於酒。”這是說陶稱的不孝，這是指在陶侃去世後喪歸長沙之時，陶氏兄弟刀兵相向之事。
二是“昧利偷榮，擅攝五郡，自謂監軍，輒召王官，聚之軍府”。陶稱原為南平太守，但是依仗陶氏在荊州根深蒂固，陶稱擅自宣佈自己監五郡。
三是驕縱不法。庾亮舉出劉弘的曾孫劉安和陶稱部將楊恭、趙韶的例子來說明，因為與陶稱有言語沖突，陶稱放出話來要殺掉這三人，劉安、楊恭嚇得投水自盡，而趙韶在獄中自殺；陶侃去世之時，將軍郭開跟隨陶稱去長沙奔喪，陶稱懷疑他暗中勾結陶侃的其他的兒子，就將郭開捆綁在船帆之上，並用彈弓彈射他。“觀者數千，莫不震駭”，而且還這樣一直在江中走了二十多裡。
四是“多藏匿府兵”、“要結諸將，欲阻兵構難”。
最後，庾亮還說：“茍利社稷，義有專斷。”因此，我就擅自將陶稱斬殺了。
庾亮的擅殺行為在朝廷上惹來了一片非議之聲，再怎麼說陶稱也是一個廳級幹部，怎麼能夠不經過朝廷的審批就咔嚓掉了呢？不過，非議歸非議，誰又能夠拿皇上的大舅咋辦呢？
桓溫在這件事情上的心情是複雜的：一方既是自己的救命恩人，又是自己所尚的長公主的大舅；另一方則是與自己無親無故，甚至未曾謀面，但確實是自己所心儀的偶像的兒子。這時候，在朝中仍然處於無足輕重地位的中級官員桓溫所能採取的唯一態度就是一言不發。不過，不說歸不說，桓溫難免還是要在心中嘀咕一下的。在他帶有俠氣的內心當中覺得：“陶公既然曾經在庾大人最艱難的時候不計前嫌地伸出援手，幫他度過了一生當中最大的危機，臨死前又推薦了他，讓他如願地得到了夢寐以求的荊州地盤，而他現在卻冷酷無情地幹掉了恩人的兒子，這多少有點說不過去。不過，在這件事情當中，自己只是一個不相幹的看客，真正為這件事情而糾結的恐怕是對陶公景仰有加的庾稚恭吧！”
桓溫對於陶侃這一世英雄卻生下了十幾個亂七八糟的不成器的兒子也給予了深深的惋惜，聽說他們在爭奪遺産的時候還動了刀子。桓溫心裡想：“看來這關於兒子的教育也是個大問題，可不是象種棵柳樹那麼的簡單哩，以後我得向長公主多灌輸灌輸些關於孩子教育的觀點，免得她把俺的兒子給寵壞了。”
