而此时日本正在风雨飘摇之中。8月，丰臣秀吉病逝。他逝世仅9天，五大家老一致决定从朝鲜撤军。9月15日，五大家老决定向明廷提出和议要求，试图为驻朝日军赢得撤退时间。9月28日，五大家老向在朝鲜的日军发出总撤退令。
中朝联手的"露梁大捷"
当撤退命令下达后，小西行长几次组织小规模撤退，均被中朝联军水师挫败。从日军的行动中，中朝联军水师提督陈璘和李舜臣敏锐地判断出：这是日军总撤退的信号。联军决定将计就计，在露梁海峡地区组织一场围点打援的战役，彻底歼灭日本水军，断绝残余日军的最后退路。联军故意放弃对11月18日回国的加藤清正军团的拦截以麻痹敌人，将全部水师兵力集中到顺天附近海域，由老将邓子龙率明朝水师一部埋伏在露梁海以北，切断日军退路;由李舜臣率朝鲜水师埋伏于露梁海以南的观音浦;陈璘则率明朝水师主力埋伏在昆阳竹岛，计划用三支舰队将前来救援小西行长的岛津舰队包围歼灭。
19日凌晨，岛津舰队刚驶出露梁海峡即落入联军包围。岛津舰队一面使用火炮和火枪还击，一面继续前进。战至天明，岛津舰队被联军舰队逼入观音浦，出口已被联军封死。
