遼金時期，皇帝出資進壹步修建了香山皇家園林。1186年，萬看中了北京西北郊的香山，並修建了香山寺。《帝京風光略》說:名山眾多，葛之川有井。金章宗的臺、它的松、它的春，又叫“祭星臺”、“護驅松”、“感夢春”。
元代香山以景取勝，包括香山八景和碧雲十景。到了明代，宦官借禪林之力乘勝追擊，修建了弘光寺和玉華寺，擴建了香山寺和碧雲寺，造成了禪林“西山佛寺滿累”的盛況。清代康乾盛世，西山開發達到頂峰，形成了著名的“三山五園”和西山大觀園區。
經過幾次建設，香山已經成為壹個將不同朝代的風格、禪林和自然山林景觀完美結合的景點，為香山靜宜園的形成和日後西山園林的開發建設奠定了基礎。
可以說，北京西北郊的香山是壹座依山而建的宮殿和皇家園林。香山是北京西山山系的壹部分，山巒起伏，峽谷縱橫，林木蔥郁。主峰路祥峰，俗稱“鬼見愁”，海拔557米。山的南、北兩側的山脈自西向東延伸，遞減成環抱之勢。景色開闊，可以俯瞰東方廣闊的平原。