秦二世时，南海郡尉任嚣病重，把龙川令赵佗召来，对他说：秦朝推行暴虐无道的政策，天下百姓都怨恨不已，听说陈胜发动叛乱，现在项羽和刘邦、陈胜吴广等，都在各自的州郡招兵买马，组建军队，如猛虎般争夺天下，中原地区一片混乱，不知何时方得安宁，豪杰们背叛秦朝，相继称王。
南海郡尉接着说：南海虽然偏僻遥远，我也担心强盗也会打到这里，侵夺土地，因此想发兵切断通往中原的交通，自己早做防备，以等待中原战局的变化，不巧赶上我有病。我们番禺这个地方，背后有险要山势，南有大海作屏障，东西几千里，还有一些中原人愿意帮我们，也可成为一州中的霸主，可以立国兴邦。
在南海郡的长官中没有一个有远见的人可以商量，所以才把你召来。任嚣当即向赵佗颁布任命书，让他代理南海郡尉的职位。任嚣死后，赵佗随即向横浦、阳山、湟溪三处关口发布檄文说：强盗的军队很快就要到来，要赶紧切断道路，集合军队，加强守卫。
接着赵佗凭着手中的权力，依法处置秦朝安置的官吏，用自己的亲信做代理长官。秦朝被灭亡之后，赵佗就发兵兼并了桂林和象郡，自立为南越武王。
待到汉高祖平定天下，考虑到中原百姓劳顿困苦，所以就没有派兵讨伐赵佗，放过了他。到了汉高祖十一年，高祖派遣陆贾出使南越，封赵佗为南越王的称号，同他剖符定的，互通使者，让赵佗协调南越各族间的关系，使其和睦相处，不要成为汉朝南边的祸患。南越的边界与汉朝的长沙郡接壤。
高后当政时，有关部门请求禁止南越在边境市场上买卖铁器。赵佗知道后，很生气说：高皇帝封我为南越王，双方互通使者，互相贸易。如今高后听信谗言，把蛮夷视为异类，断绝器物的互通，这一定是长沙王的主张，他想依靠中原的汉王朝，消灭南越而化归己有，自谋功利。
赵佗马上宣告独立，擅加尊号，自称南越武帝，出兵攻打长沙的边境城邑，一连攻破了几个县才离去。高后派遣将军隆虑