五月中旬，趙光義下令班師回朝，留楊業率舊部留守代州，雁門關。留潘美守晉陽，這次班師並不尋常，撤走的是大部分將領，而非軍隊，潘美駐守的晉陽，留有十萬人馬。
一路上，曹彬和唐月輕都是憂心重重的，因為他們看出來了，趙光義並不想就這樣結束，那個什麼狗日的侍御史崔翰，還說什麼“趁勢未竭，全力攻遼，收復故土”的屁話。
曹彬二話不說就把他的崔家踢出世家門閥的行列，唐月輕也授意高處恭和楚天詞，對崔家處處為難。
原因很簡單，崔翰是為了表現自己，迎合帝心，拿十萬宋軍將士和大宋的國祚去賭，而且唐月輕清楚結局——大敗。
大軍回到東京以後，趙光義加曹彬為太子少師，趙普加封為太子少傅，看似榮寵，卻明升暗降，做了大宋樞密院頭把交椅十幾年的曹樞密使，被新任樞密使陳從信取代，而宰執的位置，也由薛居正，沈義倫和盧多遜分別把守。趙普黯然離場。
文武兩院都經歷了大換血，軍中也發生了大地震，將唐月輕一系的將領全部放到南方鎮守，呼延贊被調到滁州，張恆遠調任西川，韓重登調任岳陽，李沂調回銀州，高處恭，王師定，王玉全部調回東京留守。
唐月輕的地位沒有變化，但事實上沒有能力再去插手北疆事物，整個朝堂頓時被新人代替。
曹彬對這些事並不在意，趙普也沉默不語，唐月輕整日呆在家裡陪著看歌笑研究熱氣球，他也樂的自在。
但是，總有人找不自在。
新任樞密使陳從信，奪取了威戎軍的兵權，換了張平做威戎軍節度使，這一職位一直是由唐月輕或者張恆遠擔任，這是明明白白的挑戰唐月輕的底線，在深思熟慮了很久後，唐月輕忍下了這口氣，因為陳從信背後，是趙光義。
然而，失去了唐月輕的節制，威戎軍不遵號令，甚至公然拒絕張平的指揮，在洛陽鬧得不可開交，迫於壓力，張平不得不辭去威戎軍節度使之職，但趙光義並沒有再安排節度使的人選，這一職位也一直懸而未決。
最要命的是，這次征討北漢結束後，趙光義並沒有賞賜將士，他的本意是想等征討契丹，打下燕雲後一併封賞，但底下的將領們都心中不滿，曹彬別的本事沒有，威望還是很高的，陳從信更本駕馭不住那些以開國元老自居的驕兵悍將們，整個宋軍一團亂麻。
六月，剛剛回到東京的趙光義，突然宣佈北伐遼國。這個訊息讓人猝不及防，但似乎又在情理之中。但各地將領們消極響應，有的收到命令並沒有動身集結，有的雖然出發了，卻在路上磨磨蹭蹭，還有的準時到達指定地點，卻帶了不到一半的人馬。
崇德殿，集英閣。
“混賬！這些武夫們莫不是要造反？！”
趙光義咆哮著砸碎了許多名貴的瓷器和案前的擺件，臉色漲紅，怒不可支！
底下跪著的陳從信，盧多遜，党進，薛居正都低著頭，一言不發，大氣都不敢出一聲。
沈義倫小心翼翼的說道：“陛下……不僅如此，度支司奏報，朝廷糧餉不足，已經無力維持大軍集結，工部來報，說武器儲存已經殆盡，連弓箭都做不出幾支了，若是……若是陛下執意北伐，恐怕……”
“朕，意已決。”
趙光義望著龍椅後面，殿樑上的牌匾說到：“縱使天下人反對，朕亦往。”
六月二十六日，趙光義率大軍出晉地，兵鋒直指燕雲，他親督眾將進兵，攻擊清沙河遼軍，大戰一日，殺敵甚眾，獲馬三百餘匹，遼軍退卻，仍然憑藉險要堅守。
三十日趙光義又督軍攻城，宋軍三百人乘夜登城，被耶律學古力戰所擒，後來又發現並堵塞了宋軍挖的隧道，修守備待援兵。而當時，遼南京被圍，遠近震動，遼國順州守將劉廷素、薊州守將劉守恩相繼率部降宋。
遼景宗耶律賢於六月三十日聞知南京被圍，耶律奚底、蕭討古、耶律斜軫等軍雖未大敗，卻不能進援，只能聲援，於是急忙調遣調任南府宰相的耶律沙率兵往救，其特里兗耶律休哥自薦請纓，遼主便以休哥代替奚底，統帥五院軍之精銳馳赴前線。
宋軍圍攻幽州堅城不下，“將士多怠”，士氣低落。
七月初六，耶律沙大軍至幽州，趙光義督諸路軍攻擊，兩軍戰於高梁河，耶律沙遇到潘美，力戰不支而敗退。然而當時的宋軍連續近二十日不停地猛攻幽州城，士卒早已疲殆，雖然戰勝了，可從中午到傍晚只追了十餘里。令趙光義始料未及的是，耶律休哥率軍出其不意間道而來，人人手持火炬直衝，宋軍不知遼國人數多寡，還沒等到接戰，心裡已經發怵，所以不敢接戰，想憑藉高梁河抵禦。耶律休哥先收容了耶律沙敗軍，派他回去再戰，與宋軍相持，然後與耶律斜軫各自統帥精銳騎兵，從耶律沙的左右翼挺進，乘夜夾攻宋軍，實行兩翼包圍鉗擊之勢。戰鬥激烈非常，耶律休哥身先士卒，身上被孟玄喆重創七八槍，仍舊力戰不退。城中耶律學古聽到援軍已至，也開門列陣，四面鳴鼓，城中居民大呼，響聲震天動地。耶律休哥繼續率部猛攻，這時宋軍才發覺已被包圍，又無法抵抗遼軍的猛攻，只能紛紛後退。耶律沙從後面追擊，而休哥與斜軫兩軍也對宋軍實行超越追擊。宋軍大敗，死者萬餘人，連夜南退，爭道奔走，潰不成軍，趙光義與諸將走散，諸將也找不到各自的部下軍士。孟玄喆見形勢危急，慌忙從村落農戶家裡找了一輛驢車請趙光義乘坐，急速南逃。耶律休哥時已受重傷，昏死過去，不能騎馬，左右用輕車載著他，代他發號施令，繼續追擊。一直追到涿州城下，獲得兵器、符印、糧草、貨幣不可勝計。
