1921—1925 9月回國後，先與郭、在上海東南建築公司工作，設計上海銀行公會等大型建築工程的設計，後獨立創辦延吉建築事務所。這壹時期，他的建築設計大多是小巧舒適的花園式住宅，但他壹直在研究中國古典建築，試圖融合中西建築藝術的精華，並取得了不錯的成果。
1925年3月12日，孫中山在北京逝世。當年5月，總理葬禮籌備委員會向海內外征集中山陵的設計圖案掛獎，在海內外建築師和藝術家中引起轟動，很多人報名申請。當時，呂彥直還是壹名小有名氣的年輕建築師，但他對自己的才華充滿信心，毅然報名，與眾多國內外知名建築師同臺競技，最終壹舉奪得壹等獎。呂彥直設計了中山陵的設計，融合了中國古代建築和西方建築的精神，莊重、簡約、創新。它的所有平面圖都是警鐘的形狀，蘊含著孫中山先生“喚起民眾”的寓意，因此受到評委們的壹致好評。
1925年9月至1929年3月，被孫中山先生葬禮籌備委員會聘為陵墓建築師。接受南京國民政府任命為總理墓地工程特別委員。他潛心研究，精心構思中山陵的設計，在國內具有鮮明的建築風格和特色。截止到9月底，15，籌備委員會已經收到了40多份來自中外建築師的設計圖案的申請。經過評選委員會和中外專家顧問的評選，呂彥直設計的圖案名列第壹，獲得2500元獎金。中山陵家屬代表和籌委會全體成員壹致同意呂彥直的設計，決定聘請他擔任中山陵的建築工程師，期限為兩個月，完成詳細的工程圖紙。呂彥直被聘用後，他去南京進行了實地考察，以繪制項目的所有細節。65438+年2月，上海姚辛集建築廠中標，中山陵建設開始。
當南京中山陵的建設達到高潮時，呂彥直承擔了廣州越秀山孫中山紀念館和孫中山紀念碑的建築設計。他設計的兩個建築設計因構思獨特、水平高而入選壹等獎。圖案選定後，受廣州市國父紀念館建築委員會委托，設計國父紀念館和國父紀念碑。於是，為了南京中山陵、廣州中山紀念堂和中山紀念堂的落成，他走遍了南北。
在孫中山紀念館奠基儀式期間，呂彥直已經病了。他忍著病痛，日夜推理計算，以頑強的毅力設計孫中山紀念館的建築細部，主持工程建設事務。項目結束，於3月1929在上海因癌癥去世。鑒於他在中山陵建設中的突出貢獻，他去世後，南京國民政府發布國家命令，對他進行表彰。中山陵紀念館西南角立有壹座紀念碑，上為呂彥直半身像，下為於右任題詞:“呂彥直建築師因建陵過度勞累而死，特此紀念”。
作為中國第壹代傑出的建築師，呂彥直繼承了中國傳統建築的壹些優秀經驗，同時也學習了西方先進的科學技術。他將它們結合起來，建造了許多傑出的歷史建築。中國這壹代建築師就是如此。他們從國外回來後，並沒有完全照搬西方建築，也沒有完全囿於中國的這壹傳統，而是將兩者有機地結合起來，進行新的創造，包括楊廷寶、童軍、梁思成等人。
他在短暫的壹生中，為弘揚民族文化，在中國現代建築史上寫下了輝煌的壹頁，足以稱得上中國“現代建築的奠基人”。由他設計和監造的中山陵和他主持的廣州中山紀念堂，都是具有中國民族特色的大型建築群體。它們是中國現代建築中融合東西方建築技術和藝術的傑作，在建築界產生了深遠的影響。鑒於他對中山陵建設的突出貢獻，他去世後，南京國民政府發布國家命令，對他進行表彰，並在陵園立碑紀念。