后来，陈公博并不死心，又多次"好言相劝"，谢终不为所动。见谢晋元如此"不识时务"，日伪又策划了对谢晋元的暗杀行动。
1941年12月8日太平洋战争爆发。28日，日军突然攻入"孤军营"，将手无寸铁的孤军340余人全部俘获。日军原打算将其改编为伪军，遭到毅然拒绝后，又企图将他们杀害。不过慑于这支军队在世界上的影响力，日军最终未敢动手，后将他们分散押解到浙江诸暨、杭州、南京孝陵卫、南洋的新几内亚等地做苦工。孤军的一部分人在日军非人的苦工奴役中相继死去，但活下来的人一直没有停止斗争。例如，被遣往浙江诸暨的一支孤军夺取日军的枪械后，加入了当地抗日游击队；1945年日本战败，被押到新几内亚的36名孤军军官将负责看押的日军小队抓了俘虏。
抗战胜利后，孤军幸存者从各地陆续返回上海，总计100余人。他们请回谢晋元的遗孀凌维诚，沿老团长的陵墓四周搭棚居住，誓为老团长守灵。
