邑隶属于汉高祖所封闫泽赤为侯国的故市县，至汉武帝元鼎五年（前112年），故市侯国被废，管邑划归中牟县。东汉以后，“管邑”之名逐渐为“管城”所代，依属中牟县。
这个时期战乱不断，郑州地区的行政建置变化较大，加之魏晋后改郡县二级制为州、郡、县三级制，使这一时期的建置变化更为复杂。魏黄初元年（220年），魏将辖区分为13州，州辖郡，郡辖县。郑州地区所在的河南郡隶属于司州。西晋灭亡后，羯人石勒尽陷司、兖、豫三州之地，占据中原。之后200多年间，政权更迭频繁，战乱持续不断。郑州地区先后为赵、冉魏、前燕、前秦、后秦、北魏、东魏、北齐、北周辖地，地当要冲的荥阳城遭严重破坏，日趋凋蔽。北魏统一北方后，置北豫州，州治武牢（今荥阳市汜水镇），并于北魏太和十七年（493年）将蒙旧县城（今惠济区古荥镇）迁至大索城（今郑州荥阳老城）。北周灭北齐后，将北豫州改为荥州，州治成皋。这一时期，管城（今郑州市管城区）一直隶属于中牟县。
隋开皇三年（583年），实行州、县二级制，并将荥州改名为郑州，郑州作为州一级行政区名称，开始用指于今郑州地区（549年，东魏孝静帝将颍州改名郑州，谓最早的郑州），但州治在颍阴县（今许昌市魏都区）；开皇十六年（596年），隋改郑州为管州，州治自成皋移至管城，管城也于是年从中牟分出单独为县。因此开皇十六年（596年）可作为以管城为郑州地区政治中心时期的开始。隋大业二年（606年），管州复称郑州。
唐武德四年（621年），李世民进兵据武牢，平王世充，将郑州一分为二，属都畿道，将密县、荥阳等5县划归郑州，州治武牢。贞观元年（627年），又废管州及须水县，属县复入郑州。贞观七年（633年）“自武牢移郑州理所于管城”，此后一直到明初，郑州治所均设于管城县。
五代时，管城作为郑州地区的政治中心，至唐代开元年（713—741年）以后，达到了经济鼎盛时期。
北宋时期，郑州属京畿路。皇祐五年（1038年），京畿路所辖的曹州、陈州、许州、郑州、滑州被定为辅郡。熙宁五年（1072年），宋朝废郑州建制，“以管城、新郑隶开封府，省荥阳、荥泽县为镇入管城”。元丰八年（1085年）又复置郑州。崇宁四年（1