先后担任了轻巡洋舰“五十铃”号和更重要的——航空母舰“赤城”号的舰长。
指挥“赤城”号航空母舰的这段经历，对山本五十六后来的军事思想产生了极其深远的影响。他亲身体验了舰载航空兵在海战中的巨大潜力，也敏锐地预见到了，未来的海战，将不再是传统战列舰之间用大炮互轰的“炮战决胜”时代，而是由飞机来主宰沉浮的“航空制胜”时代！
在当时那个“大舰巨炮主义”依然是世界各国海军主流思想的年代（各国海军都把拥有更大口径火炮、更厚重装甲的战列舰视为海权的象征和舰队的核心），山本五十六的这种“航空制胜论”，无疑是显得有些“离经叛道”，甚至被一些海军内部的保守派大佬们视为“异端邪说”。
但山本是个认准了道理就不会轻易回头的人。早在1920年代中后期，当他还是一名炮术专家的时候，他就已经敏锐地意识到了海军航空兵的未来。他不顾当时炮术科才是海军军官晋升“王道”的传统，毅然决然地由炮术科转入了刚刚兴起的海军航空兵科，甚至还亲自接受了飞行训练（虽然他最终并没有成为一名合格的飞行员，但他对飞机的性能和航空作战的特点，有了更直观的了解）。这种敢于挑战传统、拥抱新事物的远见卓识，使他成为了日本海军航空兵的早期奠基人和最重要的推动者之一。
1930年，山本五十六以海军少将的军衔，作为日本代表团的成员之一，参加了在伦敦举行的海军裁军会议。在这次会议上，日本虽然也争取到了一些利益，但在主力舰和航空母舰的总吨位上，仍然受到了英美的严格限制，这让日本海军内部的强硬派感到非常不满。山本五十六虽然也对这种不平等的限制感到憋屈，但他可能也从这次会议中，更加清醒地认识到了日本与英美等老牌海军强国在综合国力上的差距，以及通过外交手段维护国家利益的重要性。
从伦敦回来后，山本五十六的仕途继续上升。他先后出任了海军航空本部技术部长、第一航空战队司令官、海军航空本部部长等一系列与海军航空兵发展密切相关的要职。在担任这些职务期间，他大力推动日本海军航空兵的建设和发展，积极引进和研发新式舰载飞机（比如后来在太平洋战争初期大显神威的零式战斗机、九七式舰攻、九九式舰爆等，