1928年7月，更名為南京市第壹圖書館。
1930年4月更名為南京特別市人民圖書館，館址遷至潘宮。
6月1932，與人民科學館合並。1933年9月，更名為南京市圖書館。
1937 12 13日軍占領南京後，放火燒了潘宮和市立圖書館，大部分書籍被燒毀，其中包括元代至清末革命時期士紳的全部記錄。金陵圖書館的地圖上還保留著南京市立圖書館的藏書。
1958南京市政府決定新建城市圖書館。1980，10年6月，位於長江路262號的樓盤竣工開盤，面積7300平方米。原名南京市人民圖書館，6月改為金陵圖書館1984。
2005年，位於建鄴區樂山路158號的新樓開工建設，2009年投入使用。開幕式於2010年6月8日舉行，面積38641平方米，總建築面積25125平方米。