拉着司马懿的手说：“吾疾甚，以后事属君，君其与曹真、陈群共辅太子。” 又对太子曹叡说：“有间此三公者，慎勿疑之。” 司马懿跪地叩头，眼中泛起泪光 —— 这是他多年隐忍的成果，终于成为托孤重臣。
曹叡即位后，司马懿被封为舞阳侯，督荆豫二州军事，驻守宛城。此时，蜀汉降将孟达在新城叛乱，暗通诸葛亮。司马懿深知孟达反复无常，却先以书信稳住他：“将军昔弃刘备，托身国家，国家委将军以疆埸之任，可谓心贯白日。” 孟达得信大喜，犹豫不决。司马懿却暗中率军，“倍道兼行，八日到其城下”。孟达惊呼：“吾举事，八日而兵至城下，何其神速也！” 最终城破被杀，司马懿一战成名。
太和四年（230 年），司马懿升任大将军，与曹真分兵伐蜀。他率军从西城斫山开道，水陆并进，直抵朐灐？上в龃笥辏军粮运输困难，被迫班师。但真正的较量，是在两年后诸葛亮北伐之时。
青龙二年（234 年），诸葛亮率十万大军出斜谷，屯兵五丈原。司马懿率军渡过渭水，背水为垒，对诸将说：“亮若勇者，当出武功依山而东，若西上五丈原，则诸军无事矣。” 果然，诸葛亮屯兵五丈原，试图 “断陇右之麦” 以充军粮。司马懿却下令 “卷甲晨夜赴之”，吓得诸葛亮 “望尘而遁”。
两军对峙百日，诸葛亮多次挑战，甚至送他 “巾帼妇人之饰”，想激怒他出战。司马懿心中大怒，却面不改色，反而问诸葛亮使者：“诸葛公起居何如，食可几米？” 得知诸葛亮 “二十罚已上皆自省览，食不过数升”，他私下对司马昭说：“亮将死矣。” 果然，不久诸葛亮病逝，蜀军撤退。司马懿追击至赤岸，见蜀军 “遗其图书、粮谷甚众”，长叹：“天下奇才也！”
景初二年（238 年），辽东太守公孙渊叛乱，自称燕王。曹叡召司马懿问计：“往还几时？” 他胸有成竹：“往百日，还百日，攻百日，以六十日为休息，一年足矣。” 率军抵达辽东后，公孙渊派重兵驻守辽隧，坚壁清野。司马懿却 “泛舟潜济以出其北，与贼营相逼，沈舟焚梁，傍辽水作长围，弃贼而向襄平”。
当时恰逢暴雨，平地水深数尺，魏军将士恐慌，请求移营。司马懿下令：“敢有言徙者斩！