郁达夫的赠诗及郁母与孙荃的态度都明白无误地说明在郁家王映霞不过是"姬妾",这是王映霞无法容忍的。思想上的距离、年龄上的悬殊、性格上的差异,使郁达夫与王映霞之间隔膜越来越厚,不得已王映霞外公出面让郁达夫写了"保证书"和"版权赠予书"给王映霞。郁达夫觉得王映霞把金钱、物质看得比什么都重,是一个未脱尽世俗的女子,于是"幻灭的悲哀"涌上心头。此后,二人误解日深,裂痕越来越大。
后来郁达夫又在家中发现了浙江教育厅厅长许绍棣写给王映霞的情书,又发现了戴笠与王映霞亦有染,夫妻因此反目。