黑龍江省圖書館創建於1906(清光緒三十二年)，前身是黑龍江總務部教務處在齊齊哈爾市創辦的圖書館。1954，原黑龍江省與原松江省合並為新黑龍江省，省會由齊齊哈爾市改為哈爾濱市，故原黑龍江省圖書館更名為齊齊哈爾市圖書館。
2013年5月，國務院(國發[2013]13號)公布黑龍江省圖書館舊址為全國重點文物保護單位。