清乾隆年間，黃氏家族日漸沒落，上述建築逐漸廢棄。舊園的廢棄地被進士龍買下，黃只將黃的祖先留在黃蘭圃公祠前座。
到了嘉慶千年，龍石英已經把自己買的房產給了兒子龍廷槐和龍亭子。龍亭子收購了左右兩個院落，然後變成了以臥室為主的花園，分別叫做龍泰昌花園和楚翔園。後來龍泰昌園的繼承人陷入貧困，把園子賣給了壹個經營蠶種的商人，所以也叫“廣”。無意重返官場後，他將繼承的部分擴大，用來伺候年邁的母親，整天讀書。他還請江蘇省學者、書法家李兆洛題寫“清輝”的花園名稱，意思是“壹寸長的草贏得三朵春天的花有多少愛”，以表明他建造花園是為了回報父母像太陽壹樣陽光般的善良。這也是清暉園名字的由來。
龍氏後人對園內建築進行了多次改建、補充和改動，逐漸形成了完整的建築體系。從公園裏的壹些原始物件，可以看到後人建設的痕跡。例如，船屋下面的匾“深在”是由乾隆皇帝的兒子程親王寫的。鬥東旁邊的“回Xi陸機”是李文田辭官回鄉時的稱謂。原正門上方的“清暉園”四個字是清代湖南大書法家何所寫。龍廷槐之子龍淵被聘為員工，修建碧溪草堂大樓。龍氏家族最後壹代清慧園的主人龍也帶領設計師和工匠來到蘇州園林，汲取江南造園的精華。花亭被大風吹倒，由龍於1888重建。在龍嘉幾代人的經營下，建成了清暉園。
1959年3月，廣東省委第壹書記陶鑄來我縣視察工作時，專門視察了清暉園。他對這座古園給予了高度評價和高度重視，表示要將其作為文物進行保護和重建，並專門撥出專項資金進行補助。修復工程於同年4月開工，省、縣人民政府為此撥付專項資金，於國慶十周年前夕竣工。改建後的清暉園、相鄰的楚翔園、右側的廣大園以及附近的殿(龍宅)和殿(楊宅)合並在壹起，園址因為龍氏兄弟的財產分析而分了壹個多世紀。至此，合二為壹。解放後經過大規模的恢復和擴建，清暉園的面積從6600多平方米擴大到9795平方米。重建期間，碧溪草堂、紫東船堂、尹喜書店等壹系列建築被允許使用。
20世紀90年代，順德市政府及相關部門投入大量人力、物力、財力，進壹步開發順德的旅遊資源，對清慧園進行了進壹步的恢復和擴建，使清慧園的觀光面積擴大到22000平方米。