下诏各地，禁止宋兵侵占刘豫管辖之地，以此为对金和议营造一种友好的气氛。
岳飞心灰意冷，回到襄阳后便上奏章，请求解除兵权，为母亲服丧，以张宪代理军事，自己徒步回归庐山，至姚太夫人墓旁，筑庐守制。在守制时，岳飞心想：
“如果不是刘豫未除，中原未复，我岳飞就此解甲归田，再
也不复出为将了。”今年六月，张浚终因重用无能的王德、吕址，造成郦琼挟持吕址，携兵四万，渡过淮河，前往大齐投降刘豫了。
此时张浚方悔自己不听岳飞之言。但是已经晚了。他为人忠烈，自感对朝廷有愧，便引咎自劾，辞去右相、大都督。高宗虽也挽留几回，但最终还是让他去相，并下诏撤除建康都督府，甚至还把张浚贬逐到永州居住。
赵鼎、李纲皆上疏营救张浚，高宗一概不答。
岳飞在庐山守制时闻知邮琼叛变投敌，张浚罢相被逐，对张浚深表同情，上疏请求高宗，让张浚继续为相；并奏请出兵讨伐郦琼。
高宗只催促岳飞归还襄阳复职，对于讨伐郦琼，却诏令“不准”。至于让张浚复相事，沼中只字不提。
岳飞坐在案前想到这里，心中不禁感慨万千。他长汉一声站起来，向帐外走去，忽见一个郎中模样的大汉向他走来。岳飞定睛一看，惊喜地喊道：
“啊？是你！&34；
那大汉赶忙作揖道：
”元帅，杨清奉命回来述职！&34；
“快进屋里坐！&34；
5
岳飞引杨清到大帐里坐下，亲泡一杯热茶递给杨清，问道：
”黄佐怎么样？快说说。“
”他很好。兀术对他依然深信不疑，行动十分自由，只是思念元帅，常常垂泪呼唤，&39；岳飞，岳飞，你好--“。兀术还以为黄佐恨你骂你，更博得他的怜悯，也跟着骂道，&39；这岳飞好生残忍，就把你杀了有何妨。却砍了你的臂，弄得你死不死，活不活，终生残废。你放宽心，我术迟早要命人杀了岳飞，为你出这口气。&39；元帅，你可要小心兀术派来刺客暗算你呀！&34；
“我岳飞从军以来，早就把个人生死置之度外，只是刘豫未除，中原未复，金