袭北魏建制。隋文帝开皇元年（公元581年），置兰州，以皋兰山为州名，领金城郡，金城郡领子城县。开皇三年（公元583年），因全国州郡多而辖地小，遂废郡存州，省金城、武始、广武三郡并入兰州；废勇田县，在今兰州城区置五泉县；改广武县为邑次县，寻又改为广武县。兰州领子城、五泉、广武、狄道四县，州治子城县。隋代的兰州大致在今兰州市辖境范围内。隋炀帝大业三年（公元607年），改州为郡，兰州改称金城郡，子城县改为金城县，为郡治；广武县先改称允吾县，后又改称会宁县，属武威郡。
西汉初，依秦建制，今兰州市仍为陇西郡辖地。[36]汉武帝元狩二年（公元前121年），霍去病率军西征匈奴，在今西固区西固城附近设金城县，属陇西郡。[36][40]元鼎二年（公元前115年），汉朝在今永登县境筑令居以西塞，开始经营河西地区。元鼎六年（公元前111年），徐自为打败羌人，攻占了河湟地区；汉在河西设置了酒泉郡、张掖郡，并改置令居塞为令居县（今永登县城附近）；还设置了浩亶县（今永登县河桥镇附近）、允吾县（在今青海省民和县古都乡），移民充实新县。[40]昭帝始元元年（公元前86年），在今兰州市始置金城县，属天水郡管辖。始元六年（公元前81年），又置金城郡。宣帝神爵二年（公元前60年），赵充国平定西羌、屯兵湟中后，西汉在金城郡的统治得到加强，先后又新置七县。