在中國，中國元帥壹詞最早出現在公元前633年的春秋時期，其名稱源於在《左傳》中公二十七年(公元前633年)的《尋元帥》。晉國名將先軫在城濮戰役和坎戰役中屢立戰功，成為中國歷史上第壹位擁有元帥稱號的元帥。當時只是對“將軍之長”的稱呼，並不是正式名稱。南北朝以來，元帥逐漸成為戰時各軍的正式名稱。如北周元年(公元578年)，宇文邕、任命其叔伯宇文聖、於為“行軍元帥”，帶兵打仗。唐立元入關後，有左右元帥。唐朝有元帥、副元帥等戰時指揮官。元帥往往是親王或王子，副元帥往往是有威望的大臣。唐太宗李世民在繼承皇位之前，曾被封為“太尉”。宋靖康年間，康王趙構為天下兵馬大元帥，以拒金兵。金侵宋時，亦有元帥、左右副元帥，多由諸侯擔任，權力極重，無定職。元朝在外省、邊疆總有元帥、元帥府或次元帥府，任命為地區軍事長官。元末，地主武裝的首領常被稱為元帥。明朝在樞密院之下，設置元帥府，任命元帥、戰友元帥等官職，統壹軍隊作戰。元明時期的元帥職權比以前輕了，只有二三等。
元帥壹詞用於表示最高軍銜，始於16世紀的法軍。從1559到1560，法蘭西二世首次授予四位高級將領元帥稱號。由拿破侖壹世在19世紀，法國有44人被授予這壹軍銜。在法國之後，元帥軍銜被許多國家采用:16世紀的日耳曼國家，17世紀的奧地利和俄國，18世紀的英國，19世紀的西班牙、土耳其、意大利和日本，20世紀的阿富汗、印度、泰國、朝鮮民主主義人民共和國、蒙古和日本。