黑水城以黑河为名，位于黑河下游北岸。

而发源于祁连山深处的黑河，流经青海、甘肃、内蒙古三地800余公里后，汇向巴丹吉林沙漠西北缘两片戈壁洼地，形成东、西两大湖泊，总称居延海。

这里水草丰美，河流湖泊密布，森林茂密，后世考察到在新旧石器时代就有大量人类在这里居住、繁衍，可以说是中华文明重要发祥地之一。

在汉朝时，这里是出击匈奴的前沿基地，从汉开始，因为交通便利，