“于是秦始皇就命令任嚣带领五十万秦军平定百越，这其中就有赵佗，赵佗虽然在里面是个将领，却不过是个副将，任嚣平定岭南之后秦朝就在岭南设置了桂林、南海、象郡三郡进行管理。任嚣因有战功被封为南海尉，也就是南海郡的最高长官，南海郡里以龙川地理位置最为重要，任嚣非常信任赵佗，就把赵佗委任为龙川县令。
后来秦始皇病死，长子扶苏没能继承皇位大统，而是秦二世胡亥在宦官赵高的协助下继位，胡亥就非常感激赵高。赵高受宠专权于是就出现了着名的成语‘指鹿为马’。秦二世暴政终于激起了第一次农民起义—大泽乡陈胜吴广起义，虽然起义没有成功，但之后各路武装包括原来的六国后裔纷纷揭竿而起招兵买马互相争夺，中原陷于乱战，就有了后来的着名的沛县流氓—刘邦和楚国贵族—项羽长达四年的‘楚汉相争’，最终项羽战败在乌江自刎而死，以刘邦的一统华夏和结束。
在秦二世登基不久，赵佗的老领导任嚣病重，他在临死前把赵佗召到身边，不仅把南海尉的官职送给了赵佗，还给他分析了一下天下割据形势“秦政无道，中原扰乱，番禺，负山险，阻南海，东西数千里，颇有中国人相辅，此亦一州之主也，可以立国。’还别说，任嚣分析得还挺到位，于是赵佗就听了任嚣的忽悠。任嚣病亡之后，赵佗以防止中原的战乱祸及南海郡理由，借机清除了秦朝安置在南海的官吏们，换上了自己的亲信，从而彻底控制了南海郡。
控制南海郡之后，趁着西汉政权刚刚建立，赵佗趁机起兵攻占桂林郡和象郡，从而完成了三郡一统。打着民士拥戴的旗号建立了占地千里的南越国，史称‘南越武王’，都城就建在番禺也就是今天的广州。
刘邦统一中原后也把目光聚焦到了岭南，刘邦为了巩固政权的统治，采用了分封制，把自己同宗和一些战功显赫的将军都分封为王。吴芮就被册封为长沙王，以长沙、豫章二郡以及包括赵佗所统治的，西汉政府并不承认三郡为赵佗所有，更是不承认什么赵佗自封的‘南越武王’。
刘邦分封的长沙王吴芮到长沙走马上任之后，发现自己的辖地南海、桂林、象郡三郡并不在自己的统治之下，于是发兵想要收回应该属于的封地，但无奈数次用兵都被赵佗击败，无奈只能统治长沙