早在原始社會和奴隸社會末期，淮河流域就生活著壹個懷壹部落。西周建立了壹個叫“周來”的諸侯國，都城在八公山下。“八公山”之名，來源於西漢淮南王劉安學道成仙的神話。西漢時，八公山屬淮南。漢高祖李的兒子、漢武帝的叔父劉安被封為淮南王。劉安重視文學和人才，廣納天下學者三千余人，編撰了名著《淮南子》。他第壹次編制了二十四節氣，發明了豆腐這種世界聞名的食品。其中，最受劉安賞識的左霧、李尚、蘇飛、天佑、毛貝、貝勒、吳蓓、金昌被列為八大功臣。劉安和他的弟子們經常在八公山寫書，研究天象，編制歷法，煉制丹砂。相傳有壹天，劉安和八公被制成長生不老藥，服用後長生不老。《太平玉環》中有記載:“昔日淮南王、八公在此爬山埋金，白日升天。其余藥在器中，雞犬舔之，皆不死。身後有車馬人跡，至今猶在，故山以八公命名。”這也是“壹人得道，雞犬升天”這個典故的由來。
八公山是中國古代楚漢文化的重要發祥地之壹，又因其“中州咽喉，江南屏障”的重要地位，歷史上戰亂頻繁，遺跡豐富，傳說眾多。除去“壹人得道，雞犬升天”的典故，後來“風吹草動，草木皆兵”的故事更是讓八公山聲名大噪。