1759年(清乾隆二十四年),瀘州知府王成重修,奎樓碑立。
1803年(嘉慶八年),合淝縣左夫重修,載入當年新編縣誌;
1854年,太平軍攻陷合肥,建築毀於戰火。光緒年間,這座建築被恢復原樣。解放前,合肥最高的建築只有壹座四層的四層牌樓。舊時人們在此建樓,取名魁星樓,是希望合肥的文化脈絡延續,文風興盛,文學運動興盛。
重建於1928的四牌樓,曾被命名為“馬、王二公廟”,以紀念馬、兩位將軍堅守合淝兩個多月,拒張宗昌十萬之敵於城外。
侵略軍於1938年5月攻占合肥城後,用炸藥將四牌樓夷為平地。
抗戰勝利後,從小東門到大西門的5條李龍街被命名為中山路。解放後截直加寬,1955更名為長江路。長江路上的四牌樓再次成為合肥的中心。
從1958開始,兩三年建了新華書店、百貨大樓、供電大樓、省輕工業大樓。長江路與徽州路(後改名梅嶺大道,現改名徽州大道)交匯於此,四樓四角相交。由於長江路與蘇州交口的四牌樓已不存在,飯巷口被壹些人誤稱為四牌樓。