十年（215 年），曹操征讨张鲁，司马懿随军入汉中。望着层峦叠嶂的蜀地，他向曹操进言：“刘备以诈力取刘璋，蜀人未附，若趁此进兵，益州可定。” 曹操却笑道：“人苦无足，既得陇右，复欲得蜀乎？” 一句话堵回了他的建议。司马懿退而对曹丕说：“主公有雄才而无远志，此天赐良机，可惜矣。”
但他并未气馁，转而将精力投入屯田事务。当时天下战乱，百姓流离，军队粮草供应困难。司马懿提出 “且耕且守” 之策，在许昌周边推行屯田制，组织士兵和流民开垦荒地，兴修水利。他亲自到田间视察，指导农民改进耕种技术。数年之间，许昌周围 “农官兵田，鸡犬之声，阡陌相属”，粮仓渐渐充实，曹操征伐四方，粮草无后顾之忧。
建安二十四年（219 年），关羽水淹七军，威震华夏，曹操吓得想迁都河北。司马懿却冷静分析：“于禁等为水所没，非战之罪，迁都则示敌以弱。孙权与刘备外亲内疏，关羽得志，权必不愿。可喻权攻其后，樊围自解。” 曹操依计而行，果然孙权派吕蒙白衣渡江，袭取荆州，关羽败亡。
此战后，曹操对司马懿的才能既欣赏又忌惮。某日，他单独召见司马懿，突然说：“有人言卿有狼顾之相，可反顾否？” 司马懿心中一惊，却面不改色，缓缓转身，只见他肩不动，头竟能向后直视，形如狼顾。曹操表面大笑，心中却记下一笔。此后，司马懿行事更加谨慎，每日 “勤于吏职，夜以忘寝”，甚至亲自处理马料事务，让曹操渐渐放下戒心。
曹丕被立为太子后，司马懿与陈群、吴质、朱铄并称为 “四友”，成为曹丕的核心幕僚。建安二十五年（220 年），曹操病逝于洛阳，朝野震动。司马懿临危不乱，亲自部署丧事，“内外肃然”，将曹操灵柩顺利送回邺城。曹丕即位后，封他为河津亭侯，迁丞相长史。
此时的司马懿，已从初入官场的青涩书生，成长为深谙权谋的政治老手。他清楚，在曹氏父子的猜忌下，唯有紧紧依附曹丕，才能生存发展。他为曹丕制定 “新政”，改革选官制度，推行 “九品中正制”，既拉拢了士族，又加强了中央集权，曹丕对他愈发倚重。
黄初七年（226 年），曹丕病重，召司马懿、曹真、陈群等大臣至崇华殿，