可没想到，香港不久也沦陷了，而且日本人知道胡蝶在香港后多次登门，要胡蝶为日本人拍电影。胡蝶与当时在香港的梅兰芳先生一样，毅然拒绝了与日本人的合作，并做好了秘密潜逃回广东的准备。行前，胡蝶夫妇把历年积存的财物分装成三十个大箱，并把这些箱子托付给了当时在香港的杨惠敏女士。杨惠敏是淞沪抗战时冒着弹雨向四行仓库八百壮士献旗的女学生，后国民政府赈济委员会派她到香港做接运抗日爱国人士到大后方工作，与胡蝶夫妇交往很深。可是谁也没有料到，杨惠敏雇用来运送这三十箱财物的帆船于东江途中，被一伙强盗用快艇拦截抢走了。当经过艰难跋涉到达广东曲江(韶关)的胡蝶夫妇得知此消息后，心急如焚，立即向广东当局报了案。因当时正值战乱，没人能顾得上去追查他们的财物。
对此胡蝶极为伤心，因为那些被劫的箱子里有她去欧洲时与好些名人的合影和签字，还有好些特制的纪念品和相当珍贵的首饰。几经周折，胡蝶终于找到了在上海认识的杜月笙，杜月笙把此事转告给了已是军统局老板并兼任水陆交通统一稽查处处长的戴笠。此时的戴笠早已不同往日，所拥有的地位和权势使他不但答应立即调查此案，并发函邀请胡蝶夫妇来了重庆，而且腾出自己在中四路的公馆让他们居住。这公馆里，家具、卫生设施以及所需的各种物品齐备，甚至连勤杂和服务人员也一应俱全。这对过惯了优越生活而今成了落魄之人的胡蝶来说，实在是太需要了。
