熹平七年初，太祖遷為中都官從事，與王允等合推陽球為司隸校尉。蔡邕欲上疏請誅宦，先以家人及藏書萬卷託付太祖。及疏上，果下獄論死。太祖等奮力營救，改流放朔方。王甫誣告靈帝宋皇后行巫蠱之事，靈帝廢后，宋氏族誅於市。帝師光祿大夫橋玄幼子被賊所挾，太祖設計救之。玄壯其志，感其恩，乃自請為司徒領尚書事，以助太祖等誅宦。
三月，朝議改元光和。王甫使門生於京兆界辜榷官財物七千餘萬，京兆尹楊彪發其奸，言之司隸。時甫休沐里舍，熲亦歸家。球欲假詣闕謝恩，因奏甫、熲及中常侍淳于登、袁赦、封羽等罪惡，唯慮甫聞訊入宮相持，便不敢行。太祖乃自告奮勇，率義從堵截其舍。待至，不及陽球得旨，太祖即刻親持刃相博，引義從攻殺入舍，先擒甫及子萌，復拖其發冠至門前看管。甫臥於血泊，惶然問曰：“不得旨而殺兩千石，死罪無赦，於君何益？”太祖慨然應曰：“汝父子族人五毒俱備，貪鄙殘命，天下苦之久矣！既已發動，自有進無退，便以亡命江湖，亦要為天下誅汝曹！”既攻，洛中士民臨街而觀，復聞此言，皆踴躍相頌，固知王甫無生矣。太祖既誅王甫，復磔其屍於夏城門，大署榜曰“賊臣王甫”。盡沒入財產，妻、子皆徙比景。左右或勸曰：“行事酷烈，早晚或遭反噬。”太祖凜然對曰：“日食地震，雌雞化雄，若不盡誅彼輩，大漢焉有早晚？”
太祖與陽球等誅滅王甫、段熲、陳玖，驅除袁赦、張奉、淳于登等，獨曹節奸狡，先入北宮，以是脫逃。陽球與永樂少府陳球、步兵校尉劉訥、司徒劉郃合謀誅節，欲成全功。謀尚未發，節竟以順帝虞貴人章陵之葬，說動中常侍張讓、趙忠等，復為大長秋、尚書令，節制羽林、虎賁兩軍，其勢更熾。翌日，四公以謀逆罪下獄，旋遇害。太祖時在城外，聞訊急回，擒節弟破石為質，自至尚書檯獨會節，迫其赦四公家眷。時橋玄在側，見而贊曰：“文琪內剛而外刃，鋒利為天下冠”。審配時為陳球家臣，因之歸心於太祖，甘為驅馳，太祖亦視其為股肱。節歸家，喟然嘆曰：“吾老矣！天下昏昏，能全我家者，必此子也。”乃遣人送女孫至太祖處。趙皇后知之，遂往魏郡節族中下聘，求為太祖側室，即馮夫人也。
光和元年六月，靈帝開西園，朝廷凡授官，皆以秩納錢。太祖恰出為遼東襄平令，聞之大怒，自尚書檯奉書即行，曾不稍顧。張讓、趙忠，面面相覷，竟不敢問。行路中，聞曹操棄職返鄉。太祖與操志趣相仿，素與之善，又思沛國乃文皇后故鄉，遂攜婁圭、韓當，輕騎至譙縣謁之。操親族曹仁、曹洪、夏侯惇、夏侯淵等，俱一時良才，與太祖相見親切，乃共議時局，相為激勵不可失丈夫青雲之志。初，有黃龍現於譙。後三年，太祖與操共浴於渦水，復遇毒蛟，殺之。操妻丁夫人素賢，聞太祖尚無嗣，乃選己家樂姬顏色最好者贈之，太祖納為側室，即卞夫人也。太祖與操辭別，聞北海王修有賢名，專往訪之，求為幕僚，遂浮海至遼東。
太祖自誅殺王甫，面斥曹節，聲名日顯，漸為天下重。襄平長吏受取貪饕，依倚貴勢，歷前令不見舉；聞太祖至，一日盡去。於是政教大行，一縣清平。遼東邊郡，夷狄叢生，雜胡或百十為聚，或上萬為國，然俱慕王化，嚮往中國。唯高句麗自矜部眾蕃庶，山河險固，有進取遼東，宰割塞外之念，故長以漢為敵國。遼東百姓，頗受其苦。太祖履任，即欲為民除此大害，尚未定策。適高句麗亦欲圖漢，仿馬邑之謀，遣其國貫那部貴人至襄平，誑言其王老衰，諸部爭位，欲請太祖率漢軍為援，將以有報也。太祖洞燭其奸，偽與之盟。俟冬日，盡發遼東民團，又遣公孫越、公孫範往募諸部雜胡，整軍八千餘，自備糧秣，往攻高句麗。公孫氏舊吏玄菟郡別部司馬徐榮，壯太祖之舉，自引本部千五百精騎往助。將發，趙皇后遣家人送白馬旗至，以做激勵，眾皆以為吉。
高句麗屯塞坐原，連營十一，凡十餘年漢軍屢不得下，邊境苦之。軍至，太祖令速攻，眾皆以為不可。太祖曰：“汝等未解兵法之妙！”，遂嚴令韓當為先鋒，急攻之，賊惶恐大驚，以至中軍剛至，前軍已破二營。太祖遂令兵馬不駐，直趨向前，又親持白馬旗，督師至敵營門前而坐，敵當即大潰，全營盡失。眾將歎服，皆以為當乘勝追擊，長驅直入，請於太祖，太祖曰：“高句麗，大國也。坐原雖失，精兵未損。且關山險遠，後勤艱難。以孤軍入險境，吾不為也！”遂令全軍加築營壘，嚴守不出。凡五日，高句麗傾舉國之兵五萬來攻，漢軍據壘堅守，激戰三日，賊死傷慘重，糧矢將盡。審配自玄菟郡率四千軍來援，賊無奈退兵。太祖拜榮為騎兵司馬，總攬全軍騎軍七千，效鄢陵之戰，撤帳平灶，立騎陣於營中，復推倒營牆，直出敵陣。賊左相於畀留率萬眾相迎，一觸而潰，漢軍追陷潰兵直入賊營，復穿營而過，輟賊大眾之後，日夜不休，賊遂大潰。太祖發全軍追斬高句麗莫離支明臨答夫以下萬餘級，直至其王都五女山城，一鼓下之，遂亡高句麗。以其國青壯俱喪，老幼無所依，乃遷其遺民數十萬口於遼東、遼西、玄菟、昌黎、樂浪諸郡以活之。及班師，朝廷得捷報大喜，以殊勳，封太祖無慮亭侯，遷趙國邯鄲令。無慮者醫無閭也，令支都亭，與名字相合，時人稱美。
太祖為邯鄲令，會河內名士向栩為趙相。栩性素卓詭不倫，及到官，略不視文書，日夜但坐於榻上，或長嘯，或高臥，乃至舍中生蒿萊。太祖入內，與之言語，三言即走。左右怪而問之，太祖嘆曰：“使漢室亡天下者，皆此類假譎人也！安可相交？”栩雖迂，然亦久知太祖之能，遂委國相印與之，自與太平道人王憲日清談不休。王憲字敏宏，太原晉陽人也，世代名族，容貌雄偉，不習儒，善望氣。年四十學道，初隨張角，久之乃去，人問之，曰：“角所傳，似是而非，純以詭譎愚人，非道家清淨之本，必不得久也。”初，與太祖相逢於中山豪門，座中目視太祖良久。太祖笑問曰：“公善望氣，可望的我能至兩千石否？”憲曰：“十年必達”。復問：“十年後何如？”憲笑而不語。翌日，憲遺書於太祖而走。書曰：“君氣赤紅而凝紫，冠絕座中諸人，十年後，君當青雲直上，居凌霄而鞭撻宇內，如是而已！”太祖不信，笑而示左右即棄之，然書離手自燃，須臾灰飛煙滅，左右皆驚。
趙國功曹掾申氏者，恃其宗族強橫，素為不法。太祖遣修拿問，申氏竟臨街自為營塹抗之，修獨將三騎徑入其門，斬其子三人，遂族滅之。趙國豪右震怖，竊據郡職者，紛紛去位。太祖又設宴盡延之，眾皆惕惶而行。及至，太祖出《兩年計劃》，約以清流民、查丁畝、立公學、修水利等四事，更以孝廉及公學學位為賞，眾乃振奮，立誓相從。趙王聞之感佩，獻偏殿為書樓。太祖又聞蔡邕困頓幷州，即遣人延為公學祭酒。越明年，一國大治。襄國縣長甄度勾結黑山賊，欲行不軌，為太祖識破，擒殺於國相官寺，冀州震恐。適劉焉新為方伯，乃微服私行，欲察其詳。至趙國，訪問野老，觀察行政，嘆曰：“觀邯鄲令為政，真龍虎勢也！”，遂發書九郡為彰。初，太祖南行時，卞夫人已有身，遂留令支，後誕女，即趙國公主離也。趙皇后聞之，喜且愧，乃為太祖求邯鄲秦氏女為側室，即秦夫人也。
光和二年秋，趙國大熟。冬，太祖發舉國之眾築圪蘆河霞堤，自與國、縣長吏負石為工，眾無敢怠者。再月而成，趙國美之。劉焉聞堤成，親往視是，逢二賊行刺。關羽時為民夫，與州從事呂布各手格一賊，救焉，不受賞而去。太祖聞訊，夤夜往追，羽感其誠，遂拜為主。太祖攜其手而歸，引為腹心。焉感太祖之德，上疏力薦之。朝廷以太祖治政美甚，遠超同儕，拜議郎，轉中山太守。趙皇后父苞以互免法入為光祿勳。
太祖素重簡樸，為政清厲，任中山太守三載，大興文教，於盧奴設公學如邯鄲故事。郡治清平，流民多投，俱安之。然以長吏行政，常有急令，左右諷之。太祖乃曰：“天下漸鈍，士民如在釜中，吾觀之，如己身在釜中，安的不急？”。慮天下不靖，發郡中青壯，揀選拾伍，凡得五六千人，每於農閒演練。
光和三年十月，太宗仁皇帝定誕，太祖長子也，生母趙皇后。四年，涼康王平誕，生母馮夫人。中山公主臻誕，生母秦夫人。
光和六年，冬，太祖任滿三載，考績上，遷涿郡太守。涿郡豪右者，以奢侈無度聞於天下。及得太祖將至，豪右鹹皆震怖，奸宄遁逃，竄入他郡。太祖速至，於道旁逢之，凜然斥曰：“爾輩者，入他郡便得安否？”豪右奸猾知其神武，皆惶恐，乃各自歸郡，復膝行請罪。一郡遂安。幽州刺史郭勳，久欲整頓范陽遊商，慮前守庇之，且其事多涉盧氏，乃候前守已行，太祖未至，欲徐徐為之。事未備而太祖已至樊與亭，勳大急，誤太祖將為盧氏張目，遂夜訪樊與，欲逼停之。太祖聞之大怒，語勳曰：“方伯但安坐，某自為清白！”乃攜婁圭等夜馳范陽。及勳追至，猾商遊俠，並皆一空。又助勳擒盧植長子，施以髡刑，罰沒家產徒附。人或勸曰：“豈有弟子破師門者？”太祖凜然曰：“師可敬，法更可敬！”。勳拜服，自是州郡和睦，上下一心。
光和七年正月，太祖察張角將生亂，乃徵發糧秣軍資，招募遊俠，整飭郡卒，陰為之備。劉備攜張飛、簡雍往投，太祖大喜。二月，張角果反，以“蒼天已死，黃天當立”號召四方，旬日之間，幽冀兗豫青徐荊七州，三十六方俱起。廣陽黃巾三萬眾圍涿城，太祖見敵至城下立寨，乃引公孫越、劉備、關羽、牽招、張飛、魏越、婁圭凡二十騎出城，透賊寨而還，賊不能傷也。及入城門中，眾將自矜誇斬獲不止，獨太祖不言。待諸將噤聲，太祖乃緩緩曰：“已得破敵策也，五日當覆。”眾將俱驚。太祖遂遣羽等，各數十騎馳突黃巾軍陣，一日或至三四，皆斬首而出。連戰數日，黃巾漸疲。太祖察其殆，以飛引二十騎誘敵，賊出全軍騎兵千餘阻之，飛往來奔突，如入無人，賊不能制。太祖觀其陣散，度其氣衰，發白馬義從三百，側擊賊騎，千騎一時俱喪。賊帥程遠志無奈，驅賊眾蟻附攻城。太祖委事於眾將，返家高臥於榻，觀書不止，秦夫人在側，問：“城上利害？”答曰：“小兒輩必大破賊。”意色舉止，不異於常。翌日，賊力竭神疲，太祖乃發全軍出城擊之，一鼓而破，俘八千餘眾。遠志欲逃廣陽，而太祖已先遣輕兵截斷道路。遠志無奈，攜殘軍南走范陽，欲投張寶，為關羽追斬於道。賊眾潰散，衝破寶北營，太祖趁機奪之。寶夜襲太祖營，為太祖識破，反奪其西營。寶度無能為，夜遁。太祖遣將復廣陽、漁陽，幽州遂安。
勳知太祖來救，夜墜城往見，問以方略。太祖答曰：“僕燕地一匹夫，自弱冠而受國恩。今黃巾驟起，天下震動。雖不才，願提三千幽燕之士，南下河洛，以定社稷，以此獲罪，何負天下人乎？！”勳壯其言，起而拜，與聯名上疏。朝廷讚許，詔太祖領三千騎，入洛言事。太祖乃嚴選上谷代郡突騎兩千，漁陽鐵騎一千，並白馬義從及婁圭、韓當、張飛等，疾馳南下。旬日而至孟津，破賊帥馬元義部，洛陽為之一肅。何進時為大將軍，素知太祖之能，力薦之。靈帝遂拜鈦祖為五官中郎將，以騎都尉曹操副之，令出東郡討賊帥卜已。鈦祖以柏人令董昭有謀略，徵為護軍司馬，並急召程普等，未至，而賊已北破清河，西叩轘轅，洛陽震動。鈦祖與幽燕並三河騎士七千眾歃血盟誓，曰：不棄一人於敵陣，不遺一骨於他鄉。遂急出至白馬，令關羽奇襲下之，賊眾震恐。
鈦祖聞濟陰有士名李進者，素知詩書，乃殫夜而往闢之。進感其德厚，逢鈦祖克城勤苦，乃慨然舉族而助。其族兵三千，皆父子兄弟，堅韌耐勞，每陣爭先。鈦祖即以其為先鋒，旬月之間，三渡大河，拔韋鄉，下頓丘，降鹹城，克東阿。東郡賊軍，望風披靡，紛聚濮陽、東武陽二城，各兩萬餘。鈦祖乃耀兵濮陽城下，偽言將攻東武陽，克之即往援河北，斷張角之背。卜已聞之，率全軍渡河往援。恰程普、高順率部至，鈦祖乃命其阻東武陽之賊，自率騎兵先擊破卜已軍，又與之合兵擊破東武陽賊軍，反驅之與卜已軍並至河。賊降者萬餘人，餘自卜已以下，皆蹈河而死。東郡遂平。
趙忠聞太祖已平東郡，思其繳獲必稠，乃遣門客索賄。太祖鞭殺之，令其僕攜一文錢歸，告忠曰：“予汝異日買命錢！”忠大恨，然終無奈何。太祖分賜糧食錢帛予東郡百姓及軍士。又揀選降兵青壯者，得萬餘，合兩萬眾，出潁川長社，往攻賊帥波才。
才軍頗眾，可十萬餘，兼有軍略。右中郎將皇甫嵩、左中郎將朱儁引漢軍與數戰不利，困於長社。翹首望援，旦暮皆驚。太祖臨洧水而不渡，慢賊之心，陰與嵩、儁等約以火攻。俟東風夜起，潛渡洧水，順風縱火，一夕而破賊。嵩、儁等正議追襲，聞太祖已先遣審配襲取陽翟，劉備擒斬波才，遂歎服。又聞太祖直入長社，委全軍於儁，是推功予之，救其前過，愈德之。長社鍾繇，時之名士也，見太祖而折心，曰：“真吾主也！”然困於黨錮，遂薦棗祗、戲忠為幕屬，太祖闢之。
六月，朝廷以功進太祖良鄉侯，皇甫嵩都鄉侯，朱儁西鄉侯。詔罷郭勳河北副將，以太祖掌冀州北面戰事，討張寶。太祖分步卒予操，往助盧植，自引萬騎出邯鄲臨下曲陽。所部護烏桓校尉宗元、鉅鹿太守郭典、常山相馮歆、中山太守張純等，聞太祖至，皆肅然整軍，知大戰至也。太祖至軍三日，合七萬眾強渡滹沱河，往攻下曲陽。時張寶軍十萬，皆背城臨河列陣，欲擊半渡，寶自據土山觀望。太祖先令公孫越督萬騎繞道渡河，又令典、純兩翼搶渡設壘，引賊往攻。以張郃率大戟士數百先渡，自引白馬義從緊隨，強攻寶本陣。賊蜂擁來攻，太祖視若未睹，前移儀仗者三。漢軍望見，皆忘死奮戰，純歿於陣中，郃部死傷殆盡，孤身至寶陣前，擲矛殺其副帥，寶驚走，賊軍潰散。越自後而擊，覆賊八萬餘，逃歸者不足兩萬。董昭、戲忠、馮歆等，隔河觀戰，為之神馳。太祖進而圍城，料寶無能為，遂圍壘設壁，不攻。更使軍中蹴鞠為樂，兼整備營屬、汰弱選優，複選軍中勇士充白馬義從。月餘，賊內亂，寶自焚，遂復下曲陽。
前，河北主將董卓圍張角於廣宗，久而不克，以貽誤戰機檻車入洛，詔皇甫嵩代之，嵩至而角病死，廣宗動搖。嵩趁機發兵，大破角弟梁。太祖既克下曲陽，遂與嵩合兵更圍廣宗。梁愈恐，乃潛夜勒兵，馳赴鉅鹿澤。太祖與嵩立發兵，以步卒破城，行騎兵斷梁於漳河，戰至晡時，各大破之。斬梁。角剖棺戮屍，傳首京師。廣宗累獲首三萬級，赴河死者五萬許人。天下乃平。拜太祖光祿大夫，入洛論功。
十月，拜太祖衛將軍，領河內太守，封薊侯、特進，食邑六千戶。
