關於赤山這個名字的由來，有很多傳說。據說龍王的九個兒子路過碧流河玩耍，導致當地河水暴漲，兩岸無數莊稼和房屋被沖走。就在眾人危難之際，壹頭金牛從天而降，擋住了九條龍的去路，將它們全部趕出了碧流河。金牛用自己的身體堵住了河口，最後暴漲的河水平息了，人們得救了。為了防止紫龍以後繼續鬧事，金牛特意搬來了九座山峰堵住了入海口，當地人稱之為九龍崗，也就是現在的赤山。在金牛的保護下，赤山成了遠近聞名的風水寶地。當然，傳說終究是傳說。按照現在的說法，每當太陽升起，山頂的紅巖就會被紅日反射，把周圍的山變成深紅色，所以被人們親切地稱為赤山。
當然，赤山景區本身的歷史也非常悠久，最高峰海拔891.1米。相傳唐太宗李世民曾在此避暑壹個多月，並建有凱傑寺，以碑紀念。在幽靜的峽谷中，誕生了壹系列傳說中的天然洞穴，如避暑的唐王蔭洞、李雪的士兵將軍洞、呂洞賓煉丹的仙人洞、軍民朝陽洞等。在壹天之內看完所有這些洞穴確實需要壹些努力。
相比其他去過的山，赤山景區修建的棧道、步道相當細致。左邊的木棧道，右邊的石階，為上下山的旅客做好了充分的準備，不遠處的小溪或瀑布還有供人休息的亭子，相當全面。中段的玻璃棧道也為遊客徒步爬山增添了不少樂趣，沿途遇到帶孩子的遊客也不在少數。
半山腰的龍潭寺，距今已有1300多年的歷史。它建於唐朝。它的前身凱傑寺是唐王為紀念東征勝利而建的。後來明朝萬歷年間重修此寺時，因寺前有壹池清水，名為龍潭，故寺名後改為現在的龍潭寺。
赤山風景區自然生態極其豐富。山上有許多天然洞穴，如仙人洞、穿心洞、背陰洞、朝陽洞、月亮洞等。此外，還有大連亭、珍珠亭、開槽亭、玄門亭、三疊紀瀑布、朱熹瀑布、小心坡瀑布等。，擁有近萬畝原始森林，到處都是參天古樹和潺潺溪流，十分涼爽。夏天來這裏真的很酷。