南夏軍隊遭遇烏蘭人時，羽皖城就在眼前，帝駕還未入城內，落在後面的步兵遭到烏蘭騎兵截殺，傷亡慘重，帝駕倉惶逃入城中，所攜帶軍械和糧食大部分被搶。烏蘭人得到戰利品後沒有離開，而是圍在城外。
皇帝雖受了些驚嚇，進城後更多憤恨，他下令將剩下的軍隊重整，誓要一雪前恥。護衛皇帝的南夏軍隊多是來自襄京的禁軍，不擅長與騎兵作戰，出城之後往往被騎兵追趕，突襲時又跟不上烏蘭騎兵的速度，戰了幾回都是南夏落敗。南夏軍隊非但沒有雪恥，損失越來越重，漸漸不得不退守城池中。
烏蘭軍眼見南夏軍隊無法與他們抗衡，越發囂張，在羽皖周圍約聚越多，皇帝閉城不出，烏蘭人無法奪城，最終散去。
這樣一來，皇帝率軍攻入曜京的計劃被打亂，帝駕再從羽皖啟程時，封淙和胡飛遠已在曜京周邊自行籌措軍糧，攻入曜京，北晟皇帝在城破前率族人北逃，而北晟穎王的勢力仍然霸佔輝州附近一帶州郡。
皇帝面上不說，心中十分介懷大軍沒有等帝駕到達，大軍得勝，未曾嘉獎，他便命封淙征討北晟穎王，元棠到曜京時封淙已經出發，又沒能與封淙見上一面。
皇帝對元棠有戒心，城防與宮廷布防都由胡飛遠接手掌控。帝駕到達曜京一個月後，出逃的北晟皇帝聯合義赤與烏蘭殺回曜京，雖然軍隊是北晟皇帝臨時集結的，但是人數眾多，烏泱泱的人頭排列在城外平原和山崗間。
皇帝尤記得羽皖的經歷，心有餘悸，不肯派人出戰，下詔讓封淙回曜京，然而封淙那邊正與穎王作戰。
元棠請求帶兵出戰，皇帝不允，再請時皇帝不再見他。
圍困的局面持續了大半個月，期間皇帝曾派小隊出城探查，除此之外沒有再多動作。
夜裡，元棠收到了一封黑虎的密信，黑虎也隨駕到曜京，皇帝對黑虎雖然沒有對元棠那麼重的戒心，卻也不肯盡信，到曜京之後身邊用的都是胡飛遠的人。
元棠到此時才明白，胡飛遠恐怕早在皇帝還是太子的時候就已經被收服，至少私下曾與東宮有過聯系，只是之前他們都以為胡飛遠是蕭氏的人。
元棠看了黑虎的密信，放在燭火上燒掉，躺在床上迷糊到天明。
第二日，元棠又到宮中求見，皇帝依然不見，此後數日，元棠每天都到宮中求見，直到皇帝厭煩了，下令讓元棠不許進宮。
城中還算安定，然而透過黑虎元棠知道，皇帝已經下令將曜京皇宮庫房中財寶盡數裝運到船上，並派遣五千人到河水兩岸築壘，名義上是防禦狄人，實際上卻是動了棄城南歸的心思。
皇帝繼續下令讓封淙回曜京救援。狄人看出南夏軍避而不戰的意圖，開始攻城。
不過三日，北門差點淪陷，城外還在交戰，皇帝派人帶元棠進宮。
皇帝住在北晟皇宮一座臨水殿宇中，水邊草木寥落，枯葉遍地。
進了宮元棠才知道宮中忙亂一團，宮人們都在收拾打點行裝，殿外人來人外。
元棠被人帶進殿中，皇帝坐在火爐前，擁著皮毛大鬥篷，北地風寒霜冷，與溫暖的南方不能比。
“臣參見陛下。”
皇帝沒有讓元棠起來，而是俯視著他。
“卿可知朕為何讓卿進宮？”
“臣不知。”
“朕給齊王下旨，齊王沒有回來。”
元棠微微嘆氣，說：“齊王正與敵軍交戰，此時回援，前方戰事不利。”
皇帝說：“袁卿倒會替他開脫。”他臉色有些蒼白，神色疲憊，望著窗外暮色。
“臣認為事實如此，其實狄人已經被擊垮，此時在外的不過是狄人集結的遊勇散兵，都是強弩之末，城中大可閉門防守，待大軍歸來。”
“你以為朕會信你？”
元棠沉默了一會兒，才說：“陛下想回南夏？”
皇帝說：“朕會帶著你一同離開曜京，袁卿可以放心。”
元棠皺起眉頭，皇帝說：“看樣子袁卿不願與朕走？”
元棠說：“臣不明白，陛下，城中軍隊尚有兩萬餘人，完全可以守城，陛下離開必定抽調曜京兵力，若曜京不守，河水沿岸的城池遲早也會守不住。”而且封淙會面臨腹背受敵的局面。
“朕會留下人駐守。”
“臣以為此時不宜分兵，陛下出城後，城中人心易散，不利於守城。”
皇帝揮了揮袖子，說：“不必多言，從今日起你就住在宮裡，退下吧。”
元棠站起身，退了兩步，抬眼看著皇帝，皇帝問道：“怎麼？”
