臨淮中學創辦於1952。學校初名為“鳳陽縣第二初級中學”(由此稱“二中”)。當時學校位於林懷鎮大東關道源,是省市縣三級重點初中。
1953搬到現在的校區。1960年春,改建為完全中學,命名為“安徽臨淮中學”。同年,郭沫若先生親筆題寫校名。1961,高中因自然災害並入鳳陽中學,1970恢復高中招生。
2000年4月,上級決定,臨淮中學停止初中招生,改制為“完全高級中學”。
2001年1月,學校啟動市級示範高中申報工作。2003年4月25日,市政府批準臨淮中學為滁州市首批市級示範高中。