南朝劉宋孝武五年(4，665，438+0)，牛首山西峰南坡的壹個山洞裏，曾經住著壹個叫碧芝的和尚。他就是在這個山洞裏成佛的，所以他住的山洞就叫碧芝佛洞，也叫佛洞。牛首山曾被稱為仙庫山。
南朝梁朝佛教盛行，在牛首山南麓修建了壹座佛教石窟寺(今鴻覺寺)，唐代又增設了鴻覺寺塔。唐太宗貞觀六年(632年)，牛首山成為佛教“牛頭教”(壹種“牛頭禪”)的發源地。佛教徒稱之為“江表牛頭”，就是這個意思。塔上有碑，題詞“牛首山始祖榮大師新塔”為著名詩人劉禹錫所寫。從梁朝到明朝的壹千多年裏，牛首山壹直是僧多粥少、人才輩出的地方。余斌碩形容為:“美景明，松嶺陰，亭繡錯落，空靈玲瓏”。牛首山東峰社舍崖上的感應泉旁，刻有壹首明代景泰六年(1455)的詩。鳳形石壁內除梵文、詩詞雕刻外，還有四尊雕刻佛像，最多時達75尊，最大時近2米。足見明代佛教的壹大亮點。
1937年底(民國26年)南京淪陷後，侵華日軍將整座山砍倒，所有建築付之壹炬。
1957年，西峰因鐵礦開采被夷平。文物所剩無幾。直到1986才加強了對牛首山的保護和管理。滿山遍植松、柏、桃、李、蘭、杜鵑花、迎春花等春花，修復了鴻覺寺塔。
1995，被列為江蘇省省級森林公園，2002年4月正式投入運營。
2011年6月起，江寧區啟動牛首景區創意規劃，確定了“天闕藏宮、五禪雙塔”、“壹花五葉”的總體布局。牛首山景區規劃中心區總面積約9.51平方公裏，由文化禪、自然禪、生活禪、生態禪、藝術禪五大區域組成。整個牛首山景區的目標就是把它打造成壹個禪文化休閑度假勝地。
2012上半年，牛首山文化旅遊區(牛首風景區)核心區控制性詳細規劃已通過專家評審，壹期工程已獲批，正在報批環評、消防等相關手續。大報恩寺塔也將在牛首山重建。按照計劃，將在2014青奧會前建成並向遊客開放。