魏明帝即位后，张郃被派遣去南方驻军在荆州，与曹魏权臣司马宣王攻打孙权手下的将领刘阿等人。
他们追击吴军到了祁口，在交战中打败了刘阿。
太和二年，蜀国大将诸葛亮兵出岐山大举北犯，天水、南安、安定三郡吏民响应诸葛亮。
时任右将军的张郃被加封特进，督领各路军队在街亭抵御诸葛亮手下将领马谡。
马谡屯军驻扎南山，没有下山攻城。张郃就断绝了他取水的渠道，攻打并大败了马谡。
南安、天水、安定等响应诸葛亮叛变的郡地，也被张郃领兵大败，顺利平定了各郡县。
曹叡下诏嘉奖张郃，夸他披坚甲、执利器，所攻打的地方都被攻克平定。
并加封张郃食邑一千户，连同以前的共计四千三百户。
司马宣王在荆州治理水军，打算沿着沔水进入长江去征讨东吴。
张郃受命统率关中的部队前去听从司马宣王的调度。抵达荆州后，碰上冬天水浅，大船不能行进，张郃就屯驻在方城。
后诸葛亮再次兵出岐山，迅猛攻打陈仓。
曹叡派驿马召张郃到京城，还亲临河南城，设置酒宴为张郃送行。
“曹叡派遣南北军士三万人以及武卫、虎贲两营护卫张郃，并感叹等张郃到那，诸葛亮已经得到陈仓了。”
“张郃知道诸葛亮的军队缺少军粮，不能久攻，于是回答自己还没到，诸葛亮就已经撤军了；”
“屈指一算诸葛亮的军粮撑不到十天。于是张郃率军昼夜兼程抵达南郑，诸葛亮果然撤军。”
“曹叡召张郃部队返回京都，拜他为征西车骑将军。”
“蜀汉后主刘禅建兴九年，诸葛亮再次出兵祁山，张郃受命统领众将领往西到略阳。”
“曹叡派司马宣王往西驻扎在长安，督领张郃、费曜、戴陵、郭淮等人迎击诸葛亮。”
“司马宣王让费曜、戴陵留下四千精兵守卫上邦，其余人全部出兵西救岐山。”
“张郃想要分兵驻扎在雍城、郿县，司马宣王表示前军能独当一面，就依张郃所言；”
“如果不能就不宜分兵。之后诸葛亮在上邦攻破了郭淮、费曜等人，在上邦之东遇见了司马宣王的军队，对方固营自守，两军没有交战，诸葛亮引兵归还。”
“司马宣王追寻诸葛亮的踪迹到了卤城，张郃请战，说亮军远来迎战，请战不得，对魏军来说，是利在不战，想要从长计议，”
“并且祁山要塞已经知道魏军距离他们不远，按照常理他们会自发地固守要塞，所以大军可以停止前进，”
“屯驻于此，分出奇兵，绕击亮军的后方，不应该只前进而不敢交战，坐失民望。”
“司马宣王没有听从，只一味追寻诸葛亮，追到之后，又登山掘营，不肯与诸葛亮交战。”
“魏军将领贾栩、魏平数次请战，司马懿畏蜀如虎，令天下人耻笑。”
“同年五月，诸葛亮退守祁山，命手下王平守卫南围。”