音乐也是杰弗逊喜欢的，只要客人喜欢，他决不吝啬现场表演他的小提琴曲目为大家助兴。在他一生中，他不断差人从伦敦购买最新的乐谱，因为他喜欢的是英国的简洁音乐，不喜欢法国和意大利的复杂音乐。
这一点甚至曾被他的政敌所利用，声称他的饮食和生活习惯更像一个外国人，缺乏美国人所需要的美德。
他退休后大量的时间在自己的庄园度过，除了偿还担任总统期间欠下的上万美元的债务之外，他把钱花几乎全部在了美酒、马匹、书籍、园艺，以及他自己设计的无底洞一般、耗资巨大的房子上。
杰弗逊的热情好客广为人知。真的是做到"他家大门常打开"的状态。据说不少人专程上门，只为见到这位仰慕的人，或只为证实他是否会招待陌生的客人，这些人从来没有失望过。并且，只要客人流露出一点留宿的愿望，杰弗逊就为他们住个十天半月甚至几个月做好了准备。
杰弗逊经常慷慨解囊资助穷人，以及向他创建的弗吉尼亚大学捐款。他在参加推荐校址的会议时，没有路费，还得跟人借钱去开会。
这些源源不断的客人以及他的乐善好施、享受生活的性格加剧了杰弗逊的财务危机。80岁生日之前，杰弗逊终于感觉到了债务逼上了门，他为全家列出了欠债和收入账单：债务高达40262美元，仅年利就达2121美元，而农场的年收入只有10400美元。
杰弗逊是缺乏经营头脑和手段吗？当然不。他从14岁开始就接手了父亲留下来的庄园，并且打理得井井有条，为长辈们称道。此后的十五年间他让家庭的地产扩张了一倍。他当总统时，以高明的经济手段从拿破仑当政的法国政府手里买来了整个路易斯安那和新奥尔良地区，相当于现在美国领土的三分之一。而他的聪明才智让他制订了十进位的货币制，将大家从复杂的英式十二进位货币制中解脱出来。
一切都说明，杰弗逊具有天才的经济头脑。我们更愿意相信他在享受金钱带来的美好生活时，并未将债务真正当做危机来看待。他在写给一个朋友的信中说到："对于我自己来说，我并不在乎家财散尽，我无法承受的是给家人留下了烂摊子。"
杰弗逊意识到债务危机之后，晚年的他做了几件事情来挽救庄园的债务问题。
首先他决定把自己的藏书卖给国会。当时国会的图书馆被大火烧毁，但是国会并没有因为这位退休总统曾为美国做出过伟大的贡献而给予任何优惠，反而用大大低于图书原价的价格收购了杰弗逊一生挚爱的图书--购买这些图书花费了杰弗逊五万多美元，以及他的心血和记忆，但是国会只愿意支付两万三千多美元。
最终，他决定卖掉自己的家园蒙蒂塞洛来还债。
这个时候全国各地的人们听说了此事，开始给他捐款，总额达到一万六千美元。
捐款来得有些迟，直到杰弗逊去世，债务也没还清。他刚一离世，债权人就展开了新的攻势。他的女儿只好将庄园卖给了出价最高的人。
卖掉的地产是不包括墓地的，墓地属于杰弗逊的后人。但是来访者络绎不绝，还把墓碑一块一块敲下来作为纪念品带走了。谁说只有中国人才会做这种事儿？这可比在墓碑上写上"到此一游"的行为恶劣多了。
后来一位退休的海军官员拯救了蒙蒂塞洛，他将整个庄园买了下来并对它进行仔细的修葺。再后来的后代们把蒙蒂塞洛捐给了托马斯·杰弗逊纪念协会，1923年，杰弗逊的家园蒙蒂塞洛恢复了原有的面貌，并将永久保持下去，成为了美国人民缅怀伟人的圣地。
