诸葛亮真正在军事上有所作为，是在他指挥对魏国北伐的战役中。这是检验诸葛亮军事能力最重要的史实，也是古往今来争议最多的焦点。

诸葛亮率军首次北伐是蜀汉建兴六年（228）。他命令赵云、邓芝等人从斜谷道（渭水支流的河谷）出兵吸引魏军，自己则率大军向祁山方向进攻。这一计策果然奏效，魏国的主力部队被调离后，陇右的天水、南安、安定三郡（今属甘肃）见诸葛亮的大军压境，纷纷投降。一时关中大震，魏国上下惊恐，魏明帝曹睿连忙派名将张颌前往抵抗。诸葛亮派马谡督军在前，与张颌在街亭交战。只知道“纸上谈兵”的马谡违反了诸葛亮的指示，指挥不当，被张颌打得大败，大好的战局尽失。诸葛亮无奈之下，“挥泪斩马谡”，收兵回师，第一次北伐无功而返。

蜀汉建兴九年（231），诸葛亮再次兴兵北进，兵出祁山，遭遇魏军统帅司马懿的迎击。魏军知道蜀军粮草不多，于是坚守不战。蜀军用“木牛流马”运粮，无奈还是粮草不济，最终退兵。退兵途中，诸葛亮设计射杀了魏国名将张颌。