再後來，曹丕繼位後司馬懿便活得沒那麼憋屈了，比曹操在時好了很多，畢竟曹丕比曹操更需要司馬懿，也更信任他一些，
在仕途上也官職升得更高了，他也算得上個兩朝老臣了，可是司馬氏的命運還是操控在他人手中，只不過以前是曹操，
現在是曹丕而已，要想真正的將自己、司馬家的命運真正掌握在自己手中，不將生死操控在他人手中，他司馬懿還有很長的一段路要走！
魏文帝黃初元年220年）十一月，曹丕登皇帝位，史稱魏文帝。曹丕登基後，任命司馬懿為尚書，不久轉督軍、御史中丞，封安國鄉侯。
黃初二年221年），免去督軍官職，升任侍中、尚書右僕射。
黃初五年224年），曹丕伐吳，臨江觀兵。司馬懿奉命鎮守許昌，並改封司馬懿為向鄉侯，轉撫軍、假節，領兵五千，加給事中、錄尚書事。
司馬懿力辭不受，曹丕說：“朕夜以繼日處理國家大事，沒有須臾片刻的休息時間。如今冊封你不是加以優榮，而是要你為我分憂。”
黃初六年225年），曹丕再次大興舟師伐吳，命司馬懿留守許都，對內鎮撫百姓，對外為大軍提供軍資。
臨行，曹丕下詔給司馬懿說：“我深深地擔心後勤和朝內之事，所以將這些大事委託給你。
歷史上曹參雖多有戰功，但是蕭何在後方的支援才更為重要。如今你留守後方，使我無西顧之憂，這可行嗎！”
之後曹丕由廣陵今江蘇揚州廣陵區）回師京都，又下詔對司馬懿說：“我向東用兵孫權，你該總理京都洛陽的事情，我在洛陽，你則應當總理東征孫權的戰事。”
於是又命司馬懿留鎮許昌，可見那時的他已是深得曹丕的信任、器重，而曹丕身體狀況還行，也才三十九歲，才活到了而立之年的尾巴，
明年才進入不惑之年，而曹丕也以為自己至少還能活一二十年，牢牢掌控司馬懿這個雙刃劍還是綽綽有餘的，
說不定曹丕還能熬死司馬懿，可惜天不遂人願，前一年還身體狀態良好，御駕親征的曹丕，第二年的身體狀況便急轉直下，要先一步去了。
黃初七年226年）五月，曹丕病重。臨終時，令司馬懿與中軍大將軍曹真、鎮軍大將軍陳群、徵東大將軍曹休為輔政大臣。
曹丕對太子曹叡說：“在這裡的三位重臣，一定不要懷疑他們。”
可見生命垂危的曹丕已經在憂心兒子曹叡能不能駕馭住司馬懿了，曹叡即位，改封司馬懿為舞陽侯。
孫權得知魏文帝去世後，於八月出兵攻魏。
命諸葛瑾、張霸兵分兩路進攻襄陽，親自率軍進攻江夏郡治石陽縣，即今武漢黃陂西南）。
司馬懿擊退了孫權，又擊敗諸葛瑾，並斬殺張霸，斬首千餘級。十二月，司馬懿升任驃騎將軍。
太和元年227年）六月，魏明帝曹叡命司馬懿駐紮宛城，加督荊、豫二州諸軍事。
蜀將孟達降魏時，魏待其甚厚，司馬懿認為他言行傾巧，不可信任。
但曹叡不聽，任命孟達領新城今湖北房縣）太守。
曹丕死後，孟達失寵，蜀丞相諸葛亮即暗中與之通訊，圖謀叛魏。
諸葛亮恐他言行反覆無常，想促他速叛，知魏興太守申儀和他有矛盾，便派郭模到申儀處詐降，有意洩露其事。
孟達聞此洩露，準備馬上起兵。
