公元前223年，秦灭楚战争尚未完全结束，始皇迫不及待派心腹大将任嚣前往秦军大营宣布旨意。王翦回咸阳接受田产赏赐，拜屠睢为国尉（太尉），接替王翦的兵权。再以屠睢为主将，赵佗为副将，禄为护军都尉，率军三十万（后陆续增兵至五十万）南下岭南，意在征服楚国未能征服之百越，同时以蒙恬和任嚣为将，各率军十万扫平楚国仍在抵抗的地区。秦军兵力一分为三，而且都不回关中，王翦和王贲与帐下将士分离。
公元前220年，南岭传来紧急军情，国尉屠睢[huī]在岭南阵亡。
南岭又称五岭，由西到东排列为：越城岭、都庞岭、萌渚岭、骑田岭、大庾岭。这五座岭并不是南岭中面积最大海拔最高的山脉，只因名称中有岭字，合称五岭。
屠睢兵分五军，一军塞镡城（今湖南靖县境）之岭，一军守九疑（今湖南宁远南）之塞，一军处番禺（今广东广州）之都，一军守南野（今江西南康境）之界，一军结余干（今江西余干境）之水。
简而言之，屠睢将四支军队屯驻在湖南和江西，自己亲率十余万劲卒过南岭，攻击广州。然而苦战三年，杀西呕部落首领译吁宋，越人新首领桀骏率众没入山林，宁可与禽兽相处，也不肯投降。这一年秦军营寨被越人偷袭，屠睢在乱军中阵亡，赵佗引残兵退到南岭以北。
赵佗脑后有反骨，对始皇的威胁不亚于王翦王贲父子，始皇怜其勇而留用，但绝不会让他统率数十万大军。如今赵佗拥兵四十余万，始皇始觉惊惧，速派心腹大将任嚣[xiāo]前往为主将，赵佗仍为副将，禄为护军都尉，重整军马，再下岭南。
公元前214年，南国传来捷报，岭南平定，然兵力只剩三十余万（先后投入五十万）。
任嚣接手南征重任后，着手打通长江与珠江水系，开凿灵渠。灵渠沟通长江水系的湘江和珠江水系的漓江，因漓江的上游为零水，又称零渠、澪渠。长江支流湘江上游，古为楚国南境，珠江支流漓江上游，古为百越之地，两地相隔不过几十里，可谓咫尺江山分楚越。
灵渠全长36.4千米，由南渠、北渠、铧嘴、大小天平、泄水天平、秦堤和陡门等子工程组成。主航道南渠长33.25千米，绕山蜿蜒，两岸桃红柳绿，风景秀美。
灵渠贯通后，一直是岭南与中原地区水路交通要道，两千多年来，历朝都修葺过灵渠。
南军主将任嚣和副将赵佗整军备战，第三号人物护军都尉禄，亲自督军修渠。从公元前219年至公元前214年，整整五年多，灵渠大功告成。
灵渠可通航两吨以下的木船，一时千舟竞发，风帆浩荡，秦军战备物资可源源不断输送到南方，秦军也在当年拿下岭南各地。
此前屠睢损兵折将，最大的原因是交通不便，不仅武器物资无法输送到士卒手中，且南岭山高林密，气候湿热，容易引发瘟疫、瘴气等，毒虫数不胜数，秦人不怕死，却恐惧南岭的各种怪虫。
始皇设南海、桂林、象郡三郡，以任嚣[xiāo]为南海尉（郡尉），总领三郡，首府设在番禺今广州)。根据任嚣的战报，岭南人心不附，还需大军留驻五岭（南岭），镇压南蛮。
秦朝初期有三十几个郡，后期有四十几个郡，但各郡的级别有云泥之别。中原大郡一般有20多个县，如陇西、上郡、太原、恒山、三川、颍川、砀郡、东郡、薛郡、泗水、淮阳、南郡、南阳、会稽等，设有太守（官职三品）一人，都尉（军职四品）一人，县令（官职五品）多人、监御史（官职七品）一人。南海郡首府番禺（今广东广州），有5个县。桂林郡首府布山（今广西桂平西南），有5个县。象郡首府临尘，有两个县。三郡都是边疆新开的郡，加在一起只有12个县，级别远不如中原一个大郡，只设了一个郡尉（都尉，军职四品），由主将任嚣兼领，副将赵佗则兼领龙川县令（官职五品），护军都尉禄兼领监御史（官职七品）。
秦朝军队与地方各有一套体系，将军和军中将领一般不兼任地方官，将领在外征战，家眷要留在关中。地方官则可以将家眷带在身边，任嚣、赵佗、禄等人兼任封疆大吏，这里埋下了隐患。
始皇本欲留几万兵马，收大军回中原，无奈岭南地大，山岭重重，人心不附。在任嚣的请求下，不但没有收兵，还增派赘婿、小商贩入岭南充军。
秦末群雄并起，为了补充关中军队缺员，秦二世下诏从北方长城与南方岭南，各征调五万精锐镇守关中。北方的王离、苏角、涉间等，手捧诏书，立即定下计策。五万北军由将军蒙恬的长史司马欣统率，护军都尉董翳监军，并都尉姚卬、周类、苏駔。这五万将士，大多是蒙恬的嫡系。（蒙恬已死）
北军五万就位，但南军五万却毫无音信，连使臣都没有回来。
原来南军主将兼南海都尉任嚣因病去世，副将兼龙川县令赵佗深知秦朝已无力派兵南征讨。岭南三郡负山面海，东西数千里，赵佗遂打算自成一国。赵佗假作秦二世诏书，命赵佗行南海尉事。令南海军北部的横浦关、阳山关、湟溪关等守将，说盗兵将至，急将道路塞断，设兵防守。
随后几年，赵佗屡次矫诏，陆续诛灭反对之人，用亲信接任三郡之县令。几年后秦朝灭亡，赵佗遂自立为南粤武王。