懦弱怕事的宋高宗，听从了宰相秦桧的意见，决定与金议和。而金提出以杀岳飞作为议和的条件，宋高宗与秦桧经过密谋之后，答应了金的这一要求。

公元1140年，正当岳家军乘胜追击，准备渡河作战时，宋高宗赵构、宰相秦桧以“孤军不可久留”为由，在一天之内，连下了12道金牌，迫令岳飞退兵。

十二道金牌，宋代凡赦书及军事上最紧急的命令，用金牌，由内侍省派人递送，叫做“金牌”，后来是紧急命令的代称。连续十二道金牌，表示命令万分紧急和重要。

岳飞上书力争，但宋高宗执意不肯。如果不依诏退兵，就有违抗朝命之罪。岳飞经过慎重考虑，最终决定放弃有利的战机，班师回朝。

他悲愤交集地感慨道:“十年之功，毁于一旦。”班师时，久久渴望王师北定中原的父老兄弟，拦道痛哭。岳飞下令，留兵5日，保护人民南撤。

7月间，岳飞率军撤至鄂州，已收复的郑州、颖昌、蔡州、淮宁等大片土地又被金轻而易举地夺取。