江郡边缘的番阳，归顺番阳令吴芮，可能就在番阳县内居住，从事农耕。秦末时，吴芮的番阳县也参与了推翻秦朝的战争，他派出的越人军队是项梁麾下的一支重要力量。吴芮的女婿猛将黥布所率领的部队中，可能就有大量的越人。
但项籍分封诸侯时，只将吴芮封为衡山王，并未封越人首领为王，而吴芮就国时，也没有将番阳境内的越人一起带走，几经折冲，在楚汉之争时，越人成为刘季手下的一支重要的力量，在封侯的功臣中，有一些曾经担任过“越将”或“越户将”，应该就是统帅越人力量的将军。刘季得天下后，先将无诸封为闽越王，国都东冶，管理闽中郡所有的越人。不过越人部族倾向很浓，不是无诸部族的人，无诸一般管理不到。所以刘盈又另封摇为东海王，国都东瓯。这样，越人部族中两个大势力都在闽中为王，各自管理一部越人。这两部越人都生活在东部沿海山区，被统称为“东越人”。
位于岭南还有一支越人。说他们是越人，也只是中原人的说法，他们自己相互之间并不认为有什么共同之处。这些位于岭南的越人也分为无数的部族，他们被统称也“南越”。南越人不认为勾践和自己有什么关系。
而现在统治南越的其实是一批中原人，他们都是秦时派往岭南，并留驻在那里的，各个郡的人都有。为首的是真定（即东垣）人赵佗。秦始皇征服了南越后，在那里设了三个郡：桂林、南海、象郡。这些地方地肥水丰，是发展农业的好地方。这些中原过去的人与当地人或友好、或争斗，有哭有笑，相处了十三岁。