據了解，有兩個版本:壹是相傳明朝嘉靖十三年(1534)，局勢動蕩。開封楊姓人家為了躲避戰亂，逃到恩施來鳳，找了壹片老楠木林，然後帶領村民砍伐，蓋房子。完工後，楊姓家族告誡後代不要談論這是什麽木頭。
第二，相傳明朝萬歷十年(1582)，開封壹位姓楊的官員，為了躲避戰亂，在來鳳發現了高聳的楠木，請工匠建造了壹處僻靜之地。
湖北恩施金絲楠木屋的結構:
房屋為榫卯結構，梁、柱、梁、板、椽、檁條均為木質，屋頂鋪綠色砂漿瓦，具有濃郁的土家風味。大門緊鎖，木門檻高約30厘米，兩扇木門有青銅獸面門環，正面壹匾寫著“楠木老屋”四個鍍金大字。
房子有三個房間，面積約130平方米。建材打磨明顯，木材呈亮黃色，觸感細膩。靜立片刻就能聞到楠木淡淡的清香。大廳裏擺放著幾塊香匾和桌椅。據說壹塊刻有不朽字樣的匾是真跡。左翼有壹張老式的床和梳妝臺，而右翼是空的，每個翼都有壹個窗戶。