楊家是有名的書香世家。楊父楊蔭杭先生（1878－1945，字補塘，筆名老圃）為中國第壹批革命黨人，先入北洋學堂後轉南洋公學學習，再到日本早稻田攻讀法律學士。1910年，獲賓西法尼亞大學法學碩士。1915-1919年，歷任京師高等審判廳長，京師高等檢察長，司法部參事。在錢穆的記憶中，他曾讀過楊蔭杭的著作《名學》（邏輯學），受其影響。因為人剛直不阿，竟然強行把壹位有貪汙嫌疑的總長（即部長）拘捕扣押壹夜，據說後來因總長周圍官官相護而受累停職，故而回到蘇州定居。楊父樂善好施經常為人免費爭官司，養壹大家人做過律師，曾任《申報》副總編，後來又教書等等不壹而足，大約在抗戰勝利前後逝世，可謂壹生壯烈艱難，受盡顛沛流離，都是時代的投影。張騫曾稱楊蔭杭先生是“江南才子”。
姑母楊蔭榆，曾任北京女子師範大學校長，我們在魯迅先生的《紀念劉和珍君》中知道其人。楊蔭榆多次被魯迅諷刺和批評，仿佛被貼上了標簽，為人不齒。其實，楊蔭榆辦教育的功績不能被抹殺。她在辭職女子師範大學校長後，在蘇州辦學校。日軍侵占蘇州後，她保護學生，大義凜然，1938年1月1日被日軍槍殺，拋入河中。
姐姐楊絳，姐夫錢鍾書，都是知名人物。
大姐楊壽康，曾譯過法國布厄瑞的《死亡的意義》。
二姐早夭。