臨淮中學創辦於1952。學校初名為“鳳陽縣第二初級中學”(由此稱“二中”)。當時學校位於林懷鎮大東關道源，是省市縣三級重點初中。
1953搬到現在的校區。1960年春，改建為完全中學，命名為“安徽臨淮中學”。同年，郭沫若先生親筆題寫校名。1961，高中因自然災害並入鳳陽中學，1970恢復高中招生。
2000年4月，上級決定，臨淮中學停止初中招生，改制為“完全高級中學”。
2001年1月，學校啟動市級示範高中申報工作。2003年4月25日，市政府批準臨淮中學為滁州市首批市級示範高中。