后来，鲁迅搬到四川北路的拉摩斯公寓，冯雪峰紧紧相随，住进拉摩斯公寓的地下室，只有十五平方米，阴暗潮湿。冯雪峰经常付不起房租，鲁迅少不得支援他两个钱。两家人的关系越来越好，他们有很多相似的地方：都是浙江老乡，小时候都吃过苦，冯雪峰还砍过柴犁过地，两人都是娶了学生做老婆，都对社会不满。他们一起赴宴，一起译书，还一起看电影。
有一次，两家人拖儿带女在虹口大戏院看完电影，鲁迅提议两家人去照相，许广平不愿照，因为柔石刚刚被砍头，鲁迅还因柔石受过审，如今的这个冯雪峰比起柔石来，更是一个危险人物，万一哪天政府抓了他，他们的"立此存照"无疑就是罪证，作为一个孩子的母亲，她首先想到的是，儿子不能没有父亲。鲁迅毫不留情地斥责了她，许广平默默无言。冯雪峰不忍心，说："算了吧，别照了。"鲁迅一挥手："别理她，不过是四条胡同。"冯雪峰没听懂："什么四条胡同?"
