白金陶宅前有壹個花園，叫怡園。園內四季花木扶疏，古木蔥郁，是難得的古樸寧靜之地。園內荷塘鑿通，種有白蓮，常年盛開。孫在原來書桌門上的手跡上寫著“方石額”幾個字。這裏是郭沫若在中堂寫的刻石:“甲骨文之學，孫仲容所創，王觀堂次之，思飲水二君子，令人難忘。”這裏的孫中榮指的是孫詒讓先生。旁邊是孫寫的對聯:“欲知古如君，尤其樂如水心。”這是從孫的山西學校搬過來的。
客廳是孫和孫詒讓接待朝廷官員和貴賓的地方。當時兩邊都有“回避”“肅靜”的橫幅。因客廳為擡梁式結構，常雕梁畫棟，故又稱會客廳。但這裏的客廳簡單大方，這表明孫氏是壹個公正的官員。掛在客廳中堂上的是壹個藍色金色的大匾，外框上有金色的雲紋，格外醒目。上面寫著“兄弟重遊盤水，光緒十九年浙江秀才陳以禮”。此匾講述了孫詒讓的父親孫和叔父孫先後考中進士，然後時隔60年重遊京都，參加進士大會的故事。
孫詒讓故居主體建築仿四合院結構而建，前後有樓，左右有翼，屋頂有龍獸，在浙南大家族建築風格中獨樹壹幟。這裏天井開闊，夏天吸引東南風，冬天陽光充足，花草宜人，居住非常舒適。還有壹個後花園，建築面積3000多平方米。孫詒讓先生少年時從鄉下搬到縣城潘岱，40歲才搬到這裏。他的很多作品都是在這裏完成的，比如《墨子間哀》、《禮法正義》。65438年至0908年，孫詒讓先生去世後，家財漸衰，玉海樓及故居也作為財產分給了他的五個兒子。解放後，人民政府高度重視文物保護工作，先後7次投入數百萬元進行保護維修。1996年，孫詒讓紀念館、民間文物陳列室開館。