靈山衛是始於明代的海防工程。建於明朝洪武五年。它最初是為了抵抗日本侵略者而建造的沿海軍事城鎮。它源於明朝獨特的軍民融合管理體制。衛所制度是明代壹項重要的軍事制度，由明太祖創立，其概念來源於隋唐時期的官兵制度。
按照明太祖朱元璋的設計，“隔府設守備，郡設守備”。靈山警備當時屬萊州府管轄，福山警備和熊亞屬鰲山警備，靈山警備行政後設在膠州。其前駐軍位於浪謝鎮夏河駐軍，其左位於靈山衛城。南面是安東衛，屬青州府管轄。左轄石臼所，後轄陶羅所，右轄安東衛所。沿中國東部沿海，東至鴨綠江口的丹東，南至廣東的範偉。高峰期分別有58家和89家衛生院，綿延4000多公裏，形成東南沿海的防禦鏈。這些衛隊由山東省總司令直接指揮。沿海地區仍有許多殘存的衛生所，許多遺址歷經滄桑依然存在。
1372年(洪武五年)，魏右丞相徐達派軍長祝星修築土城，以防倭寇。歷史上與天津衛、阿哈瓦齊名。東與即墨鰲山衛相連，南與日照安東衛相連。在山東設置魏寧海(穆平)、萊州衛、登州衛(蓬萊)、青州衛、鰲山衛、阿哈瓦、成山衛(榮成)、靜海衛(榮成)、大宋衛(海陽)、靈山衛、安東衛(日照)。構成了明朝海防的鏈條。建成後，城池三裏環繞，城墻高20尺，厚10尺，東西南北各有城門，護城河深20尺，寬20尺。
第二次，永樂二年(1404)，他指揮郭沖建新樓。城的周長擴大到五英裏，有青磚，四個門和門樓，並增加了十多個商店。
第三次，弘治元年(1488)，副巡撫趙賀命都督再次重建，四面設置四門，東有朝陽，西有武功，南有鎮海，北有恩典。
經過三次修建，靈山衛城城規整齊，規模宏大。它是方形的，兩邊的墻翻砌，中間用黃土壓實。城內有四個城門，門口上方有門樓。城市中的十字街貫穿城市的東、西、北、南。街道寬敞，棋盤形，對稱。因南海有靈山，魏因山而得名，故稱靈山魏。後來隨著人口的不斷增加，衛城外出現了東街、西街和北街居民區。“靈山魏徵的首輔。《鑒誌》載:“四門開，街道十字形，皆方方正正，四角有石棋子。其中界河由北門入，南門出，匯入城南，漸歸大海。”這座城市分為四條街:東、西、南、北。有健康部、龔雪、體驗部和藏獒。城東有武場，有將軍，有會館。城外還有社壇、風壇、雲壇、雷壇、雨壇、先農壇、城隍廟、關帝廟、玄武廟、三官廟、三寺、馬神廟、觀音閣、福壽寺、朝陽寺等宗教建築。有林文廣場、朱軾廣場等廣場表面建築；有通濟橋、昌平橋、何英橋和小石橋。
靈山衛是壹座集軍政民於壹體的海防城。它不僅是沿海國防的重要衛城，也是重要的沿海軍事政治場所。按照當時的話來說就是‘上馬管軍，下馬管民’，地位很重要，檔次也很高。禁衛司令是正三品軍銜，相當於軍分區，地方地級市。不僅各種軍事功能齊全，民政管理功能也很完善。所轄行政區域比今天的地級市大很多。此外，它還有軍營和平民營地的制度。其財務職能由戰爭部和住房部直接管轄。早在青島開埠前近300年就已建立，直到清朝雍正十二年才降級為靈山檢司，但級別仍與當時的膠州相同。
明朝永樂年間，在山東沿海設營，作為統帥、使臣、禁衛的中級軍事指揮機構。山東有三大陣營:即墨陣營(即墨)、文登陣營(文登)、登州陣營(蓬萊)。三營下轄山東全部二十四個衛生院，即墨營下轄安東衛生院、靈山衛生院、鰲山衛生院、大宋衛生院四個衛生院，石臼、夏河、膠州、浮山、熊亞、大山(現屬海陽市)六千個衛生院。文登營下轄靜海衛、成山衛、阿哈瓦、魏寧海和四千戶。登州營轄登州衛、萊州衛、青州衛，三千戶。在營中，有武職官員，如總統帥(司令、主子)、都督(奴才)、都督(主子)。總經理是各營的指揮官，他與指揮官和指揮壹起負責總營事務。就這樣，在明初的山東半島東部，營、守、防駐地的軍事制度相繼建立和完善。當時在交通和通訊不發達的條件下，各營可以就近迅速傳達軍令，便於警衛和駐地及時反應，應對海上突發入侵。
清雍正十二年(1734)，魏被撤，調至即墨。合並後，古城日漸荒蕪。衛城在道光年間開始坍塌。到民國二十年(1931)，只剩下四座城門和部分城墻。20世紀60年代初，西邊仍有五嶽門，還有部分殘墻。文革中幾乎都被拆了，城南只剩下烽火臺。