广州蕃坊的名称最早见于房千里所著的《投荒杂录》。该书说：“顷年在广州蕃坊时，献食多用糖蜜、脑麝，有鱼俎，甘香而腥臭自若也。”

　　           蕃坊示意图

　　房千里，字鹄举，唐文宗大和初年进士。大和年间（826—835），曾担任过高州刺史。及离任北归，写了《投荒杂录》，主要描述岭南的山川物产、风俗习惯。后来，这本书佚失了，其中有关蕃坊的材料被明末清初的学者顾炎武收入《天下郡国利病书》才得以保存。

　　前面提到，卢钧担任广州刺史以前，广州“蛮汉杂居”。公元836年，卢钧到任后立法规定“蛮汉分居”。其中，“蛮人”的居住地很可能是蕃坊的雏形。

　　综合两则材料，我们推断广州蕃坊大约起源于9世纪上半叶，这并得到了阿拉伯历史著作的映证。约成书于851—852年的《中国印度见闻录》记录了阿拉伯商人苏莱曼对广州外国人聚居的情形：

　　在商人云集之地广州，中国官长委任一个穆斯林，授权他解决这个地区各穆斯林之间的纠纷；这是按照中国君主的特殊旨意办的。每逢节日，总是他带领全体穆斯林作祷告，宣讲教义，并为穆期林的苏丹祈祷。此人行使职权，做出的一切判决，并未引起伊拉克商人的任何异议。因为他的判决是合乎正义的，是合乎尊严无上的真主的经典的，是符合伊斯兰法度的。”

　　苏莱曼的叙述符合广州蕃坊的一般特征。

　　广州蕃坊设有蕃长或都蕃长，其办事机构叫蕃坊司。蕃坊司以自治为原则，但须受唐政府的约束。蕃长由蕃坊的外商推选，并经唐政府的认可，主要职责是管理蕃坊事务，负责招徕海外商人，并代表蕃舶向政府交纳关税、查禁违运品和负责外商朝贡事宜。

　　蕃长还是穆斯林宗教生活的领导和穆斯林间争议的裁决者。在进行裁决时，依照《唐律》的“化外人相犯条”处理。同国籍的侨民、外商之间发生纠纷，蕃长有权按本国的惯例处理。不同国籍的侨民、外商发生纠纷，则要向唐政府报告，按唐律处理。

　　后人考证，唐代广州蕃坊的位置在今天广州市越秀区光塔路一带。当时，珠江江面比现在要辽阔得多，怀圣寺以南还是一片汪洋，适合海舶停靠，而外国人是“化外之民”，按规定不得在城内居住，他们只能在怀圣寺周边，筑石为城，相聚而居，进而形成蕃坊。