宋仁宗李青四年(1044)，石鼓書院成為衡州路官方高等學府，有1名正教授，主要以儒家經典教授學生。10年(1274年)正月，南宋湖南按察使、民族英雄文天祥駐衡州時，寫了壹首詩《賀江亭》:“壹個鵪鶉的尾巴，天上有名，地上卻說是壹個老虎的頭。春風壹波三折，水是兩個或三個大陸。……";十二年(1185)，部使潘天慶(任域)在原址上建了幾間房屋。南宋開元年間(1259)，書院毀於大火。元年(1260)，(之作)命山長李登門“掃地更新”，“復舊觀”，加園，高築，取明德新民之文，為眾學子宣傳其義，再作聲威，以振儒者之風。黃沃被判另分35畝地，“以養其徒”。宋末著名音樂家郭冕，曾居石鼓山上，泛舟湘江，創作了著名的鋼琴曲《瀟湘水雲(霧)》。洪承疇，清朝順治14年(1657年)經略大臣，以石鼓書院為清朝軍事指揮所。同年，偏遠總督袁闊綽奏清廷，申請重修石鼓書院。衡陽縣令余具體負責修復工程。此時山上有合江閣、王宇碑、武侯祠、大觀樓、講堂、忠義節廟、七仙廟等。石鼓書院是第壹個被清政府允許恢復的書院。這壹時期書院為科舉，石鼓書院成為教學和培養科舉人才的基地。
康熙七年(1668)，衡州知府張啟勛擴建20余棟。“那些從衡石中學畢業的拔秀才，還有...每月試之，書生之風最盛。”二十八年，知府崔明捐錢“增其不備”。七賢祠二樓，陽高、大觀，供奉堂、左玉軒、浩然臺、合江閣、東西齋室，都是“大觀”。臨選者多，如陳世亞、余、林，均為湘中名士，但多為科舉助選。
鹹豐三年(1853)九月至鹹豐四年(1854)正月，曾國藩和在衡州建立湘軍水師，駐紮石鼓，石鼓書院附近的水域成為中國近代水師的搖籃。清光緒二十八年(1902)，石鼓書院改為衡陽官立中學，清光緒三十年(1904)，改為湖南南路師範學校。民國時期改為“橫軍女子職業學校”、“湖南省立第三師範學校”(湖南第三師範)。後來因為石鼓山達不到新學校的要求，學校搬到了金鰲山。此時，石鼓書院已成為人們參觀和朝拜的風景文化勝地。1964年，中共中央中南局第壹書記陶鑄視察衡陽時，要求恢復衡陽的名勝古跡，如石鼓書院、顏回峰等。當時由於歷史條件限制，市委、市政府只培育了樹花壇，修建了亭臺樓閣，在廢墟上建了壹個石鼓公園，無法還原當時的建築和展覽。
1998，郵電部在發行“古代書院”即宋代四大書院的郵票時，曾提前參觀過石鼓書院，但最終因只見巖石不見書院而被河南登封嵩陽書院取代。
2006年6月，衡陽市人民政府重修石鼓書院。按照修舊如舊的原則，恢復了書院講學、藏書、祭祀三大功能。整個建築群是白墻黛瓦的暗柱，莊重、古樸、典雅。布局與中軸線對稱。院內以玉貝閣、山門、書屋、武侯祠、李中傑公祠、大觀樓、合江閣為裝飾，舉辦“千年大學、石鼓碑”展覽，展示石鼓書院的歷史風貌、文化沈澱和驕人成就，再現千年大學的雄姿。
2009年6月5438+065438+10月15日，中國郵政集團在衡陽市石鼓廣場向全國發行《古代書院》特種郵票，石鼓書院登上“國家名片”。
2013 12 12，國際戰略與國家安全問題專家少將羅援參觀石鼓書院報告廳。
2014，21，海峽兩岸作家來到中國四大書院之首的石鼓書院，細細品讀千年學府積澱的歷史文化。
2014年5月20日，湖南省委書記、省人大常委會主任徐守盛視察石鼓書院時，盛贊衡陽文化底蘊深厚，獨具“三江並流”。
2014年5月22日，中國人民政治協商會議常委、文史學習委員會主任王太華，中共中央宣傳部副部長、國家廣播電影電視總局局長，率中國人民政治協商會議文史學習委員會代表團，包括中國人民政治協商會議、中央政研室主任李放、 全國政協文史學習委員會副主任、中共中央黨史研究室主任龍新民參觀石鼓書院，觸摸湘情細節，盛贊衡陽文化底蘊豐厚。