事實上，除了他的好色之外，紀曉嵐的外表並不怎麽樣。據史書記載，乾隆皇帝是個“嚴孔”，所以有人看不上紀曉嵐。但嘉慶皇帝卻不是這樣，所以紀曉嵐有機會施展才華。
紀曉嵐娶了壹妻六妾，最愛的女人是文鸞，而不是杜小月。電視劇裏，紀曉嵐還是四十多歲，跟在甘龍和小沈陽身邊，很愜意。但在現實世界中，紀曉嵐不是單身漢。他壹生娶了壹妻六妾。他最喜歡的女人不是杜小月，而是丫鬟文鸞。
據記載，紀曉嵐十幾歲時，愛上了她的侍女文鸞。紀曉嵐的父親利用兒子對婢女的感情，鼓勵他好好學習，說文鸞只要上了高中就可以娶回家。然而兩人卻是有緣。高中時他去娶文鸞，她抑郁而死。不得已，他只好把這份感情埋在心裏。
紀曉嵐在園中種下海棠，並作詩紀念，可見他對文鸞的深情。1772年，48歲的紀曉嵐在夢中見到了失散多年的愛人文鸞。他們在海棠樹下追逐嬉戲，卿卿我我，非常浪漫。從夢中醒來後，紀曉嵐意識到壹切都是假的，他感到有些失落，於是他命令人們在花園裏種壹棵海棠樹，以表達他對文鸞的感情。
看著園中海棠樹的嬌艷花朵，又想到早已分離的文鸞，紀曉嵐不禁心酸，於是寫下壹首詩:慵懶花可憐，夕陽下的庭院已是深秋，詩人風骨消減，仍對殘花失望。
紀曉嵐的妃子和兒子早逝，這只能增加他的悲傷。晚年，他癡迷於在電視劇中塑造紀曉嵐，而現實世界中的紀曉嵐卻壹路坎坷。據記載，的妃子沈30歲就去世了，這讓他非常難過。紀曉嵐的文學作品《嶽薇草堂筆記》中有壹篇文章專門描述了沈的生平和發生在她身上的故事。
除了愛妃早逝，紀曉嵐的兩個兒子也早逝，這讓他很受打擊。因此，紀曉嵐晚年很少外出。他把全部精力都投入到創作中，82歲因勞累而去世。
年輕的時候，感情是最真實最純粹的，所以即使紀曉嵐有妻妾相伴，她還是會在夢裏見到以前的戀人。然而，即使紀曉嵐能在花園裏種下海棠，為她作詩，天人永隔的痛苦也無法得到安慰。因此，在電視劇中，紀曉嵐會因為杜小月的離開而不開心。在現實世界中，紀曉嵐只能把他的感受用文字來緩解他的抑郁。