道光二十九年十月初四日，也就是他升位实职副部长后十个月，他在家信中竟然做了这样的表示："吾近于官场，颇厌其繁俗而无补于国计民生。惟势之所处，求退不能。但愿诸弟稍有进步，家中略有仰事之资，即思决志归养，以行吾素。"
也就是说，他这个副部长感觉自己的所作所为无补于国计民生。如果几个弟弟有谁能够出来做官，家里生计不至困窘，他就打算辞官回家，侍奉堂上老人，不再混迹于官场了。
这样的文字还有许多。在写给陈源兖的信中，他说自己"时时有归家奉养之志"。咸丰元年他在写给欧阳兆熊的信中说自己近年来因"官牵私系，遂成废物"，"本欲移疾归去，不复尸素此间，重乖高堂之望，又逋责稍多，贾竖未能贳我，以是濡滞。计其岁以内，终当蝉脱不顾，从子于万山中耳。"也就是说，本想回家奉养父母，但是欠债太多，筹不到路费。不过不久之后，总会克服困难，返回家乡。在复江忠源信中也说："计期岁内外，亦且移疾归去，闭关养疴，娱奉双亲。自审精神魄力，诚不足任天下之重，无为久虱此间，赧然人上也。"
