隐士做派与宗教背景更给他罩上了一层神秘的色彩。在崇拜他的明代文人笔下，黄公望俨然已是个下凡的老神仙了。陈继儒说他到了九十岁仍"碧瞳红颊"，"貌如童颜"；李日华说"一日于武林虎跑，方同数客立石上，忽四山云雾，拥溢郁勃，片时竟不见子久，以为仙去"，他得出结论："……此老乃从十洲来，绘事特其撒米狡狯之一技耳。"
黄公望于元至正十四年(1354)去世，年八十二岁，在古代绝对是高寿老人了。有人还嫌不够，说他在洪武年间尚在人世，一人跨三朝，真真是神仙中人了。
名画逃过被焚毁命运
黄公望学画，据唐棣《铁网珊瑚》称，是从晚年才开始的。然出手不凡，"探阅虞山朝暮之变幻，四时阴霁之气运，得之于心而行于画，故所画千丘万壑，愈出愈奇，重峦叠嶂，越深越妙"，因此对后世产生了极大影响。王世贞论山水画，就说"大痴黄鹤(王蒙)又一变也"。
《富春山居图》的作画，始于至正七年，何时完成不得而知。据说历时七年，也就是黄公望去世前一年才完成。因此，这是现在所能见到他晚年的最后一幅作品，最为后人珍视，"煊赫绘林"。然而自明初至明中叶，一直下落不明。成化年间，由着名画家沈周收藏，因请人题跋而失踪，从此再也没回到他的手中。一直到弘治元年(1488)，由苏州的樊节推购得，请沈周再加上一跋，他心酸地写道："旧在余所，既失之，今节推樊公重购而得，又岂翁择人而阴授之耶？"
到隆庆四年(1570)，这幅画从樊氏手中转到了无锡人谈志伊处，而后又归于一位"周台幕"，万历二十四年(1596)，由华中翰介绍，售予大画家董其昌。他兴奋地在跋中高呼"吾师乎！吾师乎！"并表示要把它藏在自己的画禅室中，与王维的《雪江》"共相映发"。
董其昌死于崇祯九年(1636)，死前数年，将这幅画抵押给了吴正志，未及赎回，即归道山，从此这幅画便成为吴家的传家宝。吴正志死后，归了他的二儿子洪裕(问卿)。他对这幅画无比珍爱，特意在家中"面水架一小轩"，名之为"富春轩"，专藏此画。为"富春轩"题匾额的邹之麟曾感慨："名花绕屋，名酒盈樽，名书名画，名玉名铜，环而拱一《富春图》，尝闻天上有富贵神仙，岂胜是耶？"当明清鼎革之际，吴问卿更是"一无所问，独徒跣而携此卷"，"直性命殉之矣"。
然而，也是因为吴问卿太爱这幅画，于是决定让它为自己陪葬，差点使《富春山居图》遭遇灭顶之灾。顺治七年(1650)吴问卿病笃，烧画殉葬，幸而他的侄子吴子文趁其不注意，将它抢救出来，但前面已有一段"四尺余"被烧焦了，存下仅有六尺。这个故事因为太富有传奇色彩，更被后世添油加醋。例如恽寿平说问卿平生最爱的是智永的《千文》真迹与此画，于是决意烧二物陪葬，烧画时他看到火旺了就回里屋躺下了，因此吴子文才有机会救出；康熙初年的王宏撰说是侍妾偷偷抢出，一同焚毁的书画变成"怀素帖"；而唐光说其实是与唐伯虎的《高士图》一起烧的……难怪徐复观认为这个故事是吴家为自抬身价编造出来的。
有清一代，残余的《富春山居图》继续在一个一个收藏家手中流浪。先是被丹阳张范我收藏，而后转手泰兴季寓庸，接着由平湖高士奇以"六百金"购得，随后成为王鸿绪的藏品。王氏死于雍正元年(1723)，不久即家道中落，由家人拿出来到苏州售卖，为沈德潜所见，他在卷后写下了非常感慨的一段："计詹事(高士奇)、司农(王鸿绪)，品地声势，极一时之盛，今不过三四十年，如春花飘零，云烟解散，而山人笔墨，长留人世间，洵秾华难久，而淡寂者多味外味也。"
因为索价过高，苏州无人买得起，王家的这位仆人不久就转去扬州碰运气了。可能是在那里，被朝鲜人安岐买去。七年后沈德潜在京师重又见到此画(此时已为安氏所有)，还颇不以为然，觉得安氏不过"惟侈宝玩之多、贾值之重，以为豪举"，"此卷亦未为得所也"。他的不屑或者也有点道理，因为这样珍贵的画卷，在安氏自己的《墨缘汇观》中仅列在附录中，卷中也没有他的印记。
