別墅依山而建，紅墻綠瓦的宮殿式房屋非常富有中國民族特色。在陡峭的懸崖上，根據佛教故事和古代傳說制作的彩色雕像被大規模裝飾。別墅的主人試圖通過這些反面教材勸人做好事。
1935年，胡文虎先生花了16萬港幣巨資建造了壹座私人別墅，原占地約53.4公頃(53.36萬平方米)。胡文虎先生和他的家人也住在這裏，並在山上建造紅墻綠瓦的宮殿式房屋。中國的園林建築具有濃郁的南洋色彩。以“虎塔”和“18地獄”最為著名。7層白色六角形“老虎塔”高44米。它曾是港島唯壹的中式塔，是香港新八景中的“虎塔趙輝”。而“18地獄”是墻上的浮雕，講的是警惡勸善的故事。
1954年胡文虎先生去世後，後人出售了部分地段，修建了“朗斯代爾花園”、“園景山莊”、“龍庭花園”、“碧豪山莊”等私人住宅小區。2000年，剩余部分以1億港元賣給長江實業集團，建造私人住宅“渣甸山的傳說”。自此，香港“虎豹別墅”正式關閉，停止對外開放。香港政府已與長江實業達成協議，為香港政府保留虎豹別墅和虎塔的原有主樓，日後重新向公眾開放。
這座別墅對遊客免費開放。虎豹別墅已經成為香港壹個很有特色的公園，吸引了很多遊客前來參觀。