夏朝時，張掖為西羌地，公元前12年，為西戎所占。公元前221年，游牧民族大月氏在這里放牧。後來被匈奴人趕到了新疆伊犁河流域。公元前121年，霍去病率兵出隴西，過胭脂山，于祁連山下與匈奴決戰，打敗休屠王、渾邪王，兩王請降。
漢武帝公元前111年設張掖郡，十六國時期為北涼國都。隋改張掖縣，公元609年隋煬帝于此舉辦了萬國博覽會，唐“安史之亂”後被吐蕃所占，公元852年張儀潮收複。五代時為回鶻所占，元滅西夏統一中原，馬可•波羅在此逗留了一年。明設甘州衛，清為甘州府。
當年漢武帝給張掖命名的意思是“斷匈奴之右臂，張中國之臂掖”，後來匈奴果然一蹶不振，再也沒有踏上這片土地。