五年（前106年），置十三州，合肥县属扬州九江郡。东汉建武元年（25年），改合肥县为合肥侯国。建安五年（200年），废合肥侯国，复改为合肥县，为扬州治。
三国时期，合肥县属魏国淮南郡，为扬州治。
西晋武帝太康元年（280年），改九江郡为淮南郡，合肥县属淮南郡。东晋，南北分裂，合肥为双方争夺的重镇，县废。
南朝宋，置南豫州，于旧合肥县地置汝阴县，属南豫州南汝阴郡，为郡治。梁天监五年（506年），改属汝阴郡。普通七年（526年），以寿阳置豫州，汝阴为南豫州治。太清元年（547年），置合州，汝阴属合州汝阴郡，为州、郡治。北周大成元年（579年），合州为北周占领。
隋开皇元年（581年），改汝阴县为合肥县，改合州为庐州，合肥属庐州，为州治。大业年间，改庐州为庐江郡，合肥属庐江郡，为郡治。
唐武德三年（620年），改庐江郡为庐州，治合肥。贞观元年（627年），置十道，合肥属淮南道庐州。天宝元年（742年），改庐州为庐江郡，仍治合肥。乾元元年（758年），改庐江郡为庐州。中和到天复年间（883年-902年），杨行密先后为扬州刺史和吴王，辖合肥。
后梁至后唐（907年-936年），合肥县属吴国庐州，昭庆军节度。
后晋到后汉（936年-950年），合肥县属南唐庐州，保信军节度。
后周时期（951年-960年），合肥县属后周庐州，保信军节度。
北宋淳化四年（993年），合肥县属淮南道庐州，为州治。至道三年（997年），改道为路，合肥县属淮南路庐州，为州治。熙宁五年（1072年），淮南路分东西两路，后并又分，合肥属淮南西路庐州，为州治，属保信军节度。绍兴初年，庐州寄治巢县；绍兴十年（1141年），合肥一度为金朝占领，旋即收复。乾道五年（1169年），庐州仍治合肥。
元至元十四年（1277年），升庐州为庐州路，隶淮西江北道，合肥属淮西道庐州路；至元二十八年（1290年），合肥县属河南江北行省庐州路。泰定二年（1325年），合肥县属淮西道庐州路。至正十二年（1352年），合肥县复属河南江北行省庐州路。至正二十四年（1363年），明太祖朱元璋占庐州，改路为府，置江淮中书行省于此，合肥县属江淮行省