番禺在南越国割据的期间，属于港市的开创时期，而且有较大的发展，成为当时我国史书记载中唯一的港市。

汉武帝元鼎五年，南越丞相吕嘉反，杀南越王赵兴、王太后和汉使，立术阳侯建德为王。于是，汉武帝乃于元鼎五年秋“令粤人及江淮以南楼船十万师往讨之”。以“卫尉路博德为伏波将军，出桂阳，下湟水；主爵都尉杨仆为楼船将军，出豫章，下横浦；故归义粤侯二人为戈船，下濑将军，出零陵，或下离水，或抵苍梧；使弛又候因巴蜀罪人，发夜郎兵，下涧江；咸会番禺。“

元鼎六年(公元前一一一年)冬，楼船将军杨仆统率的一路军首先攻破石门，然后会合伏波将军路博德的军队，纵火攻城，“城中皆降伏波。”至此，南越国的赵氏政权经历五代九十三年的时间，终于为汉武帝所灭。

战乱造成了重大的破坏，番禺城估计已被夷为平地，故“汉筑番禺城于郡南六十里，为南海郡治，会龙湾、古霸之间是也。就是说，汉平南越后，不得不筑新城以作为南海郡的治所。当然，新城的遗址到现在仍未找到。但根据当时的情况分析，文献记载也许是可信的。另外，南海郡的管辖范围也比从前缩小，原来的阳山、曲江、含洭、浈阳等县，改属桂阳郡管辖，又设交趾刺史部，治所在龙编。因此，岭南的政治中心暂时移向交趾，交趾的发展也就日益超过番禺了。这一点，《后汉书》和《旧唐书》均有记载。《汉书·地理志》关于西汉末年的户口调查记录，亦可说明这一问题。汉武帝平南越后，海外贸易有了一定的发展，但其经营的重点似乎集中在日南和交趾。因在这期间史料极少反映番禺的情况，而日南郡的西卷港和交趾郡的龙编港却有不少的记载。

日南郡是武帝灭南越后建立起来的一个郡，郡治在西卷，港口也在这里。据法人鄂卢梭的考证，西卷就是现在越南顺化。关于西卷的兴起和繁荣，中国的古书有如下的记载：

《晋书》卷九十七《林邑传》:“徼外诸国赍斋宝物，自海路来贸货。”指东南亚国家通过西卷，前来中国贸易

任畋《述异记》:“日南有香市，商人交易诸香处。”

《后汉书·南蛮传》:“元始二年(公元二年)日南之南，黄支国来献犀牛。”

《南史·夷貊传》:“汉桓帝延熹九年(公元一六六年)，大秦王(即罗马)安敦遣使日南激外来献。汉世唯一通焉。其国人行贾，往往至挟南、日南、交趾。”

汉武帝时期开辟的印度洋航线，出航的港口也有“日南障塞”。可见从汉武帝的后期开始，日南的西卷港已成为我国中西交通的主要孔道和重要对外贸易港。其航线还远至南海诸国，市场繁荣和对外贸易的重要性，可以说已赶上或超过番禺了。

交趾郡也是汉武帝平南越后设立的，郡治与港口均在龙编。《后汉书·贾琮传》说:“旧交趾土多珍产：明巩、翠羽、犀象、玳瑁、异香美木之属，莫不自出。”说明交趾龙编当时已是明玑、翠羽等奇珍异宝的市场。也是大秦和东南亚商人前来贸易的港口。特别是到了东汉末年，因中原的战乱很少波及到这里，中原人士前来避难的日益增多。交趾太守叫士燮《三国志·士燮传》言,“中国人士往避难者以百数。”又说“燮只弟”…“威尊无上，出入鸣钟罄，备具威仪，笳箫鼓吹，车骑满道，胡人夹毂赞烧香者，常有数十。”这里所指的“胡人”，是在这里经商的外国人，《士變传》又说士壁每年大量地赠送奇珍异宝给孙权。说明此地是当时南中国的一个重要贸易港，有大量的奇珍异物进口。

但是，番禺仍然是南中国的一个重要对外贸易港口，广州汉墓出土文物属于西汉中期的出土文物中，有较多的串珠，这些串珠包括玛瑙、鸡血石、柘榴石、煤精、水晶、硬玉、琥珀和玻璃等不同的质料，还有选嵌眼圈式玻璃珠，蓝色玻璃碗、绿色玻璃带钩和壁(还有黄白色的)，其中带钩、璧是我国传统的礼用器物，其他的则与中国传统的工艺品相异，应与海外贸易有关。(参见《广州汉墓》)另外，在西汉中期以后，西汉墓出土的熏炉亦逐渐增加，至东汉尤为普遍，它反映统治阶级燃熏香料习惯的普及，也说明香料进口的增加。同时,在西汉中期到东汉后期的墓地中,还发掘出一种托灯的陶塑俑和侍俑。“这种俑的形象有异于汉人,亦不同一殷侍俑。托灯俑有男性也有女性;侍俑均女性,站立作捧物状。这两种俑的形象都是头较短，深目高鼻两额高，宽鼻厚唇，下颌较为突出，身材不太高，从刻划的胡子胸毛来看，再生毛发达，有谓这与印度尼西亚的土著居民原始马来族’接近。这些俑的服饰特点是缠头，绾髻、上身裸露披纱，侍俑下体着长裙如纱笼，亦与印度尼西亚一些岛上土著民族风习相似。但从深目高鼻这一体形特征来看，他们似乎更有可能来自西亚或非洲的东岸。”(见《广州汉墓》第八卷《结语》)这与对外贸易也有关，即通过对外贸易，进行奴隶贩卖而且这些奴隶还是来自西亚或非洲东岸的。

《后汉书》卷三三《郑弘传》说。后汉章帝建初八年(公元八三年)。大司农(管运输的官吏)郑弘奏开零陵及桂阳峤道即过岭山路)。运输贡献的物资。桂阳峤道就是通过番禺北运。逾骑田岭而达湖南郴州的。这条峤道的开辟，亦与当时对外贸易有关。因贡献的物产就有一部分是进口的东西。

东汉末年桓帝时期(公元一四八年至一六七年)，桂阳太守周听开凿六泷。后人为他立了功勋碑。碑的铭文指出:“郡又与南海接北，商旅所经，自瀑亭至于曲江(今韶关市)，一由此水。……故其败也(指船沉舟覆之意)，非徒丧宝玩，潜珠贝，流象犀也……(开凿之后)，小溪乃平直，大道克通。抱布贸丝，交易而至。”六泷属武水上游，开凿前经常舟覆货沉，损失很大。在这些货物中，铭文特别说明有珠贝和象犀，而开凿之后，“大道克通”，北方丝绸等物，由此南输。明显地是一条对外贸易的运输线。清郝玉麟《广东通志》卷五八也说:“桓帝时，扶南之西，天竺、大秦等国，皆南海重泽贡献，而贾蕃自此充斥于杨、粤矣。”由此可知，番禺作为一个对外贸易港仍然在发挥作用。而且进入东汉后期更为繁荣。