乔迁之后，他连平日里十分喜欢的麻将也不打了，一日三餐都以米粥、馒头、素菜为主，四季均着布衣。公馆的规模也缩小了，厨房里人也少了，当差 打杂的加上看门的，不过十来个人，原来太太小姐们每人屋里三四个老妈子也压缩到一两个。直到后来，除留下继妻张氏在身边外，其他姨太太都遣返回合肥老家， 以减少开销。
家里时常出现揭不开锅的窘困局面，多亏段祺瑞的一些老部下自愿轮流为段站岗放哨，帮助处理些杂务，这才使得公馆中不至于到了黄叶满阶无人扫的地步。
