衙門裡的官僚都曉得宇文愷與虞世基之間的齷齪，如今虞世基在皇帝面前得臉，在內史侍郎任內，與牛弘、蘇威、宇文述等六人共同參與吏部選官，時人謂之“選曹七貴”，不僅如此，七人中虞世基有專斷之權，何等風光，若然輕易的將宇文愷放走，那一定會受牽累，於是一邊穩住了宇文愷，一邊叫人快馬加鞭的把這個訊息送給了在渭水邊上伺候皇帝祭祀天地的虞世基。
虞世基的屁股剛剛挨著自己房間的床板，下人就遞上來宇文愷要辭官歸隱的訊息，心道不好，叫人飛鴿傳書，趕緊把宇文愷扣下，立刻給楊廣寫了道摺子，便跟著來人連夜趕回了大興城。
等第二日清晨宇文愷收拾好了細軟，正大光明打算走南門出城的時候，虞世基恰好堵在了南門口上。
天色微白，虞世基趕了一夜的路，累的滿頭大汗，氣喘籲籲。藉著魚白的天色，騎在馬上的宇文愷不能裝著看不見與自己四目相對的虞世基。
兩人之間充滿了微妙的氣氛，就這樣僵持了一會，直到守門計程車兵問道：“二位大人可否挪步將城門口露出來？”虞世基這才打了哈哈，讓出了城門，說道：“哎呀，安樂兄這是要去哪裡，走得這般的早？愚弟本打算等聖上從渭水回來再去你府邸上親自酬謝你造龍舟的功德呢！”
宇文愷聽出了弦外之音，跟著虞世基走進了城內，這才的問道：“愚兄不過打算辭官歸隱，想著今日天色甚佳，故而早行。不知道懋世賢弟如何會扔下聖上，寧可失去這近身侍奉的機會，也要回來阻止愚兄出行呢？”
虞世基心中猛然就窩了一團火，宇文愷這明明實在說自己屈顏奉上，是阿諛奉承的小人，可偏偏接下來在城南修建園林的事兒還得求助於他，自己不得不將這一團火壓制下來，賠上小臉上說道：“安樂兄，聖上有旨意，想要在大興城以南修一個有山有水的園林來。”虞世基才說出這一句，宇文愷立刻就怒了，冷笑道：“且不說工程浩大，勞民傷財，城南沒有活水，如何能夠修一個有山有水的園林來，你不會是已經跟聖上信誓旦旦的保證過了吧？”
虞世基只能勉強笑著點了個頭。
宇文愷氣的面色發紅，甩了袖子說道：“如今我已辭官，此事恕我無能為力！”
虞世基講宇文愷如此的決絕拒絕了自己，立刻黑了臉，冷笑道：“我知道令尊官拜大司馬，我動他不得，只可惜，你還有你已死了的大哥！”
宇文愷氣的全身發抖的問道：“如若我不答應，你要作甚？”
“自然是掘土挖墳，叫你大哥死不瞑目！”虞世基硬著脖子，說出了這比詛咒宇文愷更加傷他的話來。
虞世基這等行徑，與那街邊的潑皮無賴並一般模樣，連他自己身後隨行的侍從們都羞愧的低下了頭。
宇文愷瞪大了眼睛，此刻他已經氣的無話可說，甩了袖子轉身騎著馬回了宇文府。
宇文貴見宇文愷去而複返，卻只是悶悶的將自己鎖在了書齋之內，不明所以，於是叫了阿忠過來問話。阿忠便將在城門口遇到虞世基的事一五一十的說了出來。
當阿忠將虞世基說要挖大公子墳墓的事情說出來的時候，宇文貴氣的拍了桌子，指著虞家的方向大罵：“虞荔養的好兒子啊！”
阿忠見老爺當真是盛怒了，這才明白自己大約不應該將這些話原原本本的告知與他，還沒有來得及懊悔，就見著宇文貴一口氣沒有接上，暈了過去，整個府邸裡頭便亂成了一鍋粥。
宇文愷在宇文貴床前衣不解帶的伺候著，等到宇文貴醒來，已經又是月上枝頭的時候。
“安樂。”宇文貴看著打瞌睡的宇文愷，心中莫名，小聲的喊了他的小字。
宇文愷本是小憩，聽見宇文貴得叫聲，立刻就驚醒了過來，端正的跪在了床下：“兒子不孝。”
“安樂，自從你大哥死後，宇文家後繼無人。”宇文貴並未看向宇文愷，而是盯著床幔發呆：“為父知道你不善兵馬，也曉得你一心向道。只是如今虞世基欺人太甚，你若再不能有所出息，只怕宇文家百年的名聲，要就此辱沒了！”說完這些，宇文貴已經是老淚縱橫，字不成句。
