没有了职位，也没有了政治活动，李宗仁开始了真正的平民生活。不过，寄居在异国他乡，他的日子过得并不舒心。
他刚到美国的时候，与郭德洁租住在纽约市郊里弗德尔的一座房子。这是一所带石沿的"都德"式小楼。小楼分成两半，李宗仁夫妇只占住其中的一半，另一半住着一位戏剧演员。也许因为李宗仁是一位特殊人物，所以在小楼外的草坪边上，有一个小警屋。带着枪、棍的警察，在这里昼夜值班，使小楼罩上了一层不同一般的森严气氛，而居住在小楼里的人物，也因此而显得格外神秘。
在美国，李宗仁的家人并不少，除了郭德洁和养子李志圣和李同住外，长子李幼邻，长媳珍妮和孙女玛茜、雷诗、文迪、琴妮，也都住在纽约。只有李的元配夫人李秀文，因入美手续问题而久久没能到美国来。
李宗仁几十年来戎马倥偬，宦海沉浮，能够和家人团聚的日子屈指可数。离开了政坛之后，他已年逾花甲，本应与家人团聚，以享天伦之乐。但是，他的家人虽多，而他们到底能在多大程度上影响他的生活，或是给他带来欢乐，却是很难估计的。
元配李秀文早就和李分居，他们两人之间的关系，只是因为他们有个共同的儿子，才得以维系。1949年大陆解放前夕，李幼邻专程到桂林把母亲接到香港。不久，李宗仁携郭德洁也来到香港。李秀文是在香港医院和丈夫见面的，她得知丈夫要到美国就医，便同意幼邻陪伴父亲同行。幼邻行前，吩咐妻子珍妮随后带着4个女儿和婆婆乘船到美国来。谁知，因幼邻不是美国公民，美国驻香港领事馆竟不给李秀文签证。珍妮带着孩子走后，李秀文孤身留在了香港。后经友人建议，她先迁居古巴，再等待进入美国的机会。1952年秋，她由香港飞往古巴。过境美国换机时，李幼邻带领全家到机场和她见面，却只能在候机室相聚短短的一个小时。之后，李秀文含泪登机，独自飞往哈瓦那。1954年，李幼邻获准为美国公民后，立即申请其母入美定居，但直到1958年4月，李秀文才得到入美签证。5月，她在儿子陪伴下来到了纽约，其后便与儿子一家同住。在李秀文辗转赴美的艰难过程中，李宗仁也许是自有苦衷，也许是爱莫能助，总之他实在是没有给元配夫人什么帮助。
