明朝初年，大破元軍的征虜將軍馮勝從酒泉騎馬向西40里，涉水過“九眼泉”登上嘉峪原勒馬四顧，見南面賀蘭山斜刺長空，西面戈壁如海，北面黑山威嚴，東面清泉綠洲，而嘉峪原仿佛河西走廊這條連通東西的大河的中流砥柱。于是上表朱元璋稱嘉峪原“此咽喉要地，令關踞其中，當固若金湯”，于公元1372年建關城于嘉峪山西原，關以山名，始稱嘉峪關。

    經過100余年的4次大規模擴建，1495年兵備道李端澄主持修建關樓，11年後又建東西兩座城樓。城樓修好了，卻依然是孤城一座，番兵在而後的十幾年里兩度圍困攻破嘉峪關，或是幹脆繞過它去劫掠附近地區。1539年，明嘉慶十八年尚書翟鑾巡視西北，看到孤苦伶仃的嘉峪關，上書皇帝懇請加固關城修繕邊牆，並修建斷開戈壁連接南北山巒的一百余里的城牆與長城相連，至此嘉峪關才成了今天這座天下第一雄關。

    林則徐被貶新疆途經此關，曾寫下詩句：長城飲馬寒霄月，古戍盤雕大漠風。除是盧龍山海險，東南誰比此雄關。1837年清朝左宗棠駐肅州時曾修整關牆和關樓，並親筆寫下“天下第一雄關”的匾額。可惜1931年西北軍伐馬仲英把關樓拆了，那塊名匾也從此下落不明。現在的關樓和仿制的匾是1988年按原樣重建。

    嘉峪關市區是為了適應酒泉鋼鐵廠發展于1965年興建的，規模並不大，城市中軸線走向為西北、東南。嘉峪關現已成為河西走廊新興的旅游城市。