1759年(清乾隆二十四年)，瀘州知府王成重修，奎樓碑立。
1803年(嘉慶八年)，合淝縣左夫重修，載入當年新編縣誌；
1854年，太平軍攻陷合肥，建築毀於戰火。光緒年間，這座建築被恢復原樣。解放前，合肥最高的建築只有壹座四層的四層牌樓。舊時人們在此建樓，取名魁星樓，是希望合肥的文化脈絡延續，文風興盛，文學運動興盛。
重建於1928的四牌樓，曾被命名為“馬、王二公廟”，以紀念馬、兩位將軍堅守合淝兩個多月，拒張宗昌十萬之敵於城外。
侵略軍於1938年5月攻占合肥城後，用炸藥將四牌樓夷為平地。
抗戰勝利後，從小東門到大西門的5條李龍街被命名為中山路。解放後截直加寬，1955更名為長江路。長江路上的四牌樓再次成為合肥的中心。
從1958開始，兩三年建了新華書店、百貨大樓、供電大樓、省輕工業大樓。長江路與徽州路(後改名梅嶺大道，現改名徽州大道)交匯於此，四樓四角相交。由於長江路與蘇州交口的四牌樓已不存在，飯巷口被壹些人誤稱為四牌樓。