楊蔭杭出身江蘇無錫的壹戶貧寒的書香門第。他的兄弟姊妹***六人，他排行第三。大姐出嫁不久即因患肺病去世。大哥在武備學校學習，因試炮失事而死。最小的弟弟楊蔭樾留美回國後也因肺病去世。二妹楊蔭枌、三妹楊蔭榆都比楊蔭杭小，出嫁後都與夫家斷絕了關系。
楊蔭杭青年時考入北洋公學（天津中西學堂），當時北洋公學由外國人把持，部分學生因對夥食不滿掀起學潮，外國人開除了壹名帶頭鬧事者。楊蔭杭並未參與，但他看到許多學生懾於外人淫威，噤若寒蟬，憤而挺身說：“還有我！”遂亦遭開除。1897年考入南洋公學（上海交通大學前身），翌年因成績優秀而獲留學日本早稻田大學之資格，在那裏受到革命思想的影響。
1901年，楊蔭杭利用暑假回錫探親的機會，在無錫鼓動壹批進步青年組織勵誌學會，入會者有40余人，公推裘廷梁為會長，秦鼎臣、俞仲還為副會長。他們在埃實學堂以講授新知識為名，宣傳反清革命。
1902年，楊蔭杭在日本學校畢業，回國後在上海《時事新報》擔任編輯，同時在、澄衷學校、務本女校教課，並經常在《大陸月刊》等報刊上發表文章，宣傳革命。他還到無錫與留日同學蔡文森等人組織理化研究會，聘請另壹位日本教師教授自然科學。他讓他的兩個妹妹楊蔭榆等人參加研究會學習，這對當時的封建禮教無異是壹種挑戰。加上他不拜祖宗，不敬鬼神，因而被封建士紳視為大逆不道。經過楊蔭杭在家鄉無錫的兩次活動，播下了壹批反清革命火種。後來壹些勵誌學會會員和理化研究會會員加入了同盟會，參加了辛亥革命的無錫光復活動。
楊蔭杭的革命活動受到了清廷的註意，準備將他緝捕入獄。他不得不在1906年再度出國，到美國法律學校學習法律。這時，他對西方的民主法治有了比較系統的研究，也產生了壹定程度的幻想。幻想用西方的民主法治來改良腐朽透頂的專制制度，挽救貧窮落後的中國。他在法律學校時，努力學習，畢業時所作的碩士論文《日本商法》，受到了導師的贊賞，被收入這所大學的法學叢書。
楊蔭杭抱著以法治國的幻想於辛亥革命前夕回—到了祖國，經清末狀元的張謇推薦在北京壹所法政學校教書。不久他就辭職南歸，在上海中報館擔任編輯並從事律師事務，發起創立了上海律師公會。
辛亥革命成功後，楊蔭杭再經張謇推薦，就任江蘇省高等審判廳長兼司法籌備處處長之職。在任職期間他秉公執法，不阿不諛。當時，有壹個權勢顯赫的軍閥到了上海，壹些官員和士紳聯名在報紙上刊登歡迎詞，他們事先並未征得楊蔭杭的同意，就將他的名字列入其中。他見報後很生氣，立即在報上發表聲明，他並沒有對這個軍閥有歡迎之意。當時有人笑他不識時務。他說： “名與器不可以假人。”
楊蔭杭擔任江蘇省高等審判廳廳長不久，北洋政府有“本省人不能擔任本省官職”的決定，因而他被調到浙江省，仍任高等審判廳長之職。到浙江後，他不畏權貴，不徇私情，嚴於執法。當時浙江有壹個惡霸，自恃與該省督軍有裙帶關系，在鄉裏魚肉百姓，無惡不作，甚至行兇殺人。被害人家屬上訴，地方法院審理後呈報省廳，楊蔭杭提筆判處這壹惡霸死刑，浙江省省長屈映光出面說情，要求楊蔭抗予以減刑，楊回答： “殺人償命，不能寬宥。”屈映光以勢相壓，楊聲稱司法獨立，不予理睬。屈映光便向當時任大總統的袁世凱告狀，幸虧當時任袁世凱機要秘書的張壹簏與楊蔭杭是同窗好友，從中說項，袁世凱才親筆批了“此是好人” 並於1915年將楊蔭杭調到北京了事。不久，袁世凱倒臺，黎元洪執政，楊蔭杭被任命為京師高等檢察廳長。 這時，他已經看透了當時軍閥政府的專制、腐朽與橫暴，認識到所謂憲法不過是壹紙空文，但他仍然剛正不阿。後來，有人揭發總長許世英貪汙受賄，楊蔭杭派人查實後，下令將許扣押。壹時在北京掀起軒然大波，政府要人紛紛向楊說情，要求特許保釋。楊認為，任何人犯法均需追究，絕不能象封建時代那樣“刑不上大夫”。北洋政府出面幹預，他仍堅定立場，毫不讓步。從而被北洋政府停職審查。楊蔭抗憤而離京南下，回到家鄉無錫，因憂憤交加，重病壹場。病愈後被上海申報報社聘任為副編輯長，並重操律師舊業，他曾憤激地說，如今世界上只有兩種職業可做，壹是醫生，二是律師。他做律師時專門為人鳴不平，申訴冤情，面對於那些違法犯罪分子，則無論其職位多高，權勢多大，酬金多厚，壹律不予受理。1929年中，壹家銀行保險庫內巨款失竊，明明是銀行經理監守自盜，卻誣告兩位管庫職工所為。楊蔭杭知道後十分氣憤，義務為這兩位職工出庭辯護。有壹個駐外領事高瑛私販鴉片，案情敗露，他想請楊蔭杭為他辯護，派秘書陳某再三上門要求，並許以重金相酬，楊堅決不予受理。
舊政府的司法部門與所有官府壹樣，黑暗腐敗，貪汙受賄成風。有壹個法官在開庭時總要帶著壹把裝滿了酒的茶壺，喝酒審案。楊蔭抗十分氣憤，他同另壹位有正義感的律師陸棣成，聯名向司法總長寫了壹個呈文，要求撤換這個酒醉糊塗的法官。後來，上海地方法院調來壹個院長，經了解，這人曾在美國因為偽造支票而被判過徒刑。於是楊蔭杭更加看透舊政府的腐朽；所謂法律，不過是統治階級用以捆綁人民群眾的繩索而已。他那以法治國的幻想也就徹底破滅了。於是，他在處理律師事務之暇，除繼續為報刊撰寫壹些文章外，乃寄情於研究音韻學和古錢幣以及印度、緬甸等鄰國的文字。
抗日戰爭爆發後，楊蔭杭不再做律師，在上海震旦女子文理學院教授《詩經》，他仇視日本侵略者，痛恨認賊作父的漢奸，有壹次，他在路上遇到壹個已經投降日寇的朋友，蔑視地走了開去，那個漢奸後來對人說，楊蔭杭目中無人。
上海淪陷期間，楊蔭杭除教書外，潛心研究音韻學。他認為《詩經》壹書，可算是古代的壹部音韻譜，有著很美的節奏。於是他將《詩經》逐字逐句地加註音韻。接著，他又將屈原的《離騷》加註音韻，後來還將兩本音韻註文合成壹書，題名《詩騷體韻》。可惜，這本被人稱之為“絕學”的著作，在他生前未能出版，在他逝世後連手稿也散佚了。
1945中抗戰勝利前夕，楊蔭杭因腦溢血逝世， 終年67歲。