蔡英文担任台湾地区领导人期间，台湾地区一共丢掉了10个“邦交”，其中8个是在吴钊燮担任外事部门负责人期间。因此，吴钊燮被台湾为网友戏称为“断交部长”。2021年5月12日，国台办发言人朱凤莲宣布，吴钊燮一再狂妄进行“台独”挑衅，恶意诋毁大陆，煽动两岸对立，被列为“台独”顽固分子。不过等到了赖清德上台，美国对其两岸、防务与外事立场不放心。于是，赖清德依旧重用了蔡英文的几位大将，如吴钊燮、顾立雄等。
赖清德上台以后，吴钊燮从外事部门负责人转任安全会议秘书长。不过，吴钊燮在蔡英文时期担任过安全会议秘书长、蔡英文办公室秘书长、外事部门负责人，可谓是蔡英文的心腹大将，赖清德一直想要将其拿下。这不，赖清德终于找到了机会，准备对吴钊燮下手了。原来，吴钊燮担任外事部门负责人期间，他的助理何仁杰因涉泄密案，被判处8年2个月的重刑。民进党内部已经传出，赖清德正在向相关人士咨询台安全会议秘书长的可能人选。
根据台湾媒体《中国时报》的报道，在8月23日的第二轮罢免投票之前，就传出吴钊燮可能会被调任为“驻美国代表”。不过，台安全会议第一时间进行辟谣，称这是假消息，吴钊燮没有被征询出任驻美代表，没有美国方面拒绝的事情。不过，随着大罢免的失败，赖清德进行了行政机构的小改组，任命台北市议员赵怡翔、赖办发言人李问为台安全会议副秘书长，摆明了要加强对该机构的控制。至于驻美代表频频传出要撤换，民进党内部人士称是吴钊燮与林佳龙两派人马的斗争。
不过，林佳龙担任台湾外事部门负责人以来，台湾并没丢失“邦交”。不仅如此，林佳龙频频窜访菲律宾、日本、欧洲以及美国，在台湾外事活动上有了一些突破。对比一下，吴钊燮担任安全会议秘书长期间，不仅没有掌握美国对等关税的信息，也没有提前与美国沟通好，导致美国拒绝赖清德“过境纽约”。再加上，吴钊燮的助理何仁杰涉及了泄密案。这样一来，不仅仅是蓝白“立委”要求吴钊燮辞职，绿营内部对吴钊燮也有抱怨的声音。
借此机会，赖清德不可能继续容忍吴钊燮。吴钊燮作为“台独”顽固分子，其业务水平非常糟糕，靠着蔡英文的信任飞黄腾达。但到了赖清德时期，吴钊燮无法躲过“一朝天子一朝臣”的命运。当然，吴钊燮但凡有一点羞耻心，他也不可能在丢掉8个“邦交”后，继续留在外事部门负责人的位置上赖着不走！既然吴钊燮赖着不走，赖清德也只好赶他走了。
