岳家军的接连胜利当然不利于高宗和秦桧与金朝重开和议，他们连下12道金字牌，催促岳飞立即班师。此时，数万岳家军由于收复失地很多，战线过长，兵力分散，而且，其他各路军队也已接到撤军的命令，张俊、韩世忠、刘锜等部陆续班师，岳飞要想在没有后方支援、缺乏友军配合的情况下，孤军深入，收复故土，实是难上加难。在形势和君命的逼迫下，岳飞违心地拒绝了两河百姓要他继续北伐的恳求，奉诏班师。退兵之日，他不禁深深痛惜自己的"十年之力，废于一旦"！这次最有希望的北伐就这样被高宗和秦桧葬送了。
绍兴十一年正月，兀术统领近10万大军卷土重来，直攻淮西。高宗命驻守鄂州的岳飞率军增援淮西，但岳飞援军尚未赶到战场，杨存中与刘锜、王德等已在柘皋大败金兵。张俊准备独吞战功，便打发岳飞等回军，不料兀术命孔彦舟回师攻陷亳州，并重创前来救援的杨存中和王德军，当岳飞率领的援军赶到时，金兵已安然渡淮北上。
