所有著名的畫家都有點古怪。比如齊白石小氣，米櫃整天鎖著，鑰匙掛在自己身上。傅抱石好喝酒。沒有好酒，就沒有好畫。解放後，傅抱石的酒得到了周恩來總理的特批。我也喜歡喝齊白石的密友許麟廬的酒。上海畫家唐雲也喜歡喝酒。北京的壹個部門讓唐雲在北京畫畫，問他想要什麽。唐雲說:“我每天都喝壹點馬酒。”唐雲對酒精和煙草上癮。當茶變淡時，他舀起茶，用芝麻油和醬油加水。他會把它當涼菜吃。這些怪癖都比不上四元壹家的倪瓚。
元二十三年(1363)，九月十八日(10十月二十五日)，妻子姜去世，倪瓚受到重創。大兒子早逝，二兒子不孝。他在生活中越是感到孤獨無助，內心就越是不安，就越是失落。明朝初年，朱元璋讓倪瓚去北京辦事，他不肯去。明朝洪武五年(1372)，5月27日(6月28日)，《體言甄宓》詩說:“惟水清，無塵”，表明他不會做官。他寫詩，寫畫書，但只有他家的年表，沒有洪武的年表。
明洪武七年(1374)，倪瓚嫁到鄒奇家，住在江陰長涇。中秋節那天晚上，他染脾染累了，就去名醫夏家裏給自己治病。朱霞阻止雲軒住在那裏。倪瓚死於農歷111日(二月114日)，享年74歲。他的遺體葬在江陰西，然後葬在無錫容英山腳下的祖墳裏。周南寫了壹篇墓誌銘。