根據市內黑水國遺址出土的新石器時代石斧等文物，早在遠古時代，人類就在這裏過著狩獵、遊牧的生活。張掖古屬永州，夏商時期有羌人居住。周朝時期，戎、狄在此居住，春秋戰國時期，烏孫、嶽氏等民族在此繁衍生息。戰國時期，建立了城市，修築了長城。今天，張掖地區仍有秦長城遺址。
烏孫被嶽家趕走，逃到新疆伊犁後，張掖屬於嶽家，控制琴弦十二萬。嶽的都城(今民樂)和昭武城(今臨澤縣)都是嶽居住的黑河兩岸的中心城市。
漢文帝前四年(公元前6年)，擁有數十萬強兵的匈奴單於大敗嶽氏。張掖成為匈奴中右王的地盤。匈奴占領後，不斷掠奪，破壞了匈漢友好往來，切斷了漢朝與西域長期存在的聯系。公元前121年，霍去病受漢武帝派遣征服匈奴，後設張掖郡，因“斷匈奴之臂，掖張中國”之意而得名。
張掖是古代河西四郡(敦煌、酒泉、張掖、武威)之壹，是中原王朝在西北地區的政治、經濟、文化和外交活動的中心。張掖曾是北梁首府、旅部首府、甘肅省會、歷代州府所在地，素有“鑰匙上的鎖”之稱。漢明長城、石窟、寺廟、寶塔、古城、烽火臺隧道、墓葬遍布全城。大禹引弱水入鶴立，老子騎青牛入流沙，周穆王牽八馬拜見西王母。張騫、班超、法顯等人都是通過張掖去西域的。609年，楊迪召集西域27國的使臣在張掖舉行“萬國博覽會”。唐玄奘去西天取經，凱爾波羅在張掖住了壹年。始建於魏晉時期的馬蹄寺和金塔寺，保存了雕塑和壁畫，具有很高的文化價值。