陈炯明叛变后，孙中山在共产国际和中国共产党的帮助下，逐步抛弃对帝国主义及军阀势力的幻想，决心改组国民党，采取联俄、联共、扶助农工的政策。1923年4月，他接受了共产国际代表马林关于共产党员以个人身份加入国民党的意见。1923年10月，改组进入实践阶段。是月18日，孙中山委任苏联代表鲍罗廷为国民党组织教练员，次日又委派廖仲恺、汪精卫、张继、戴季陶、李大钊5人为国民党改组委员，负责本部的改组工作。25日，孙中山在广州召开了有100多人参加的国民党特别改组会议，决定了改组的具体方案：（一）建立国民党广州市党部、区党部、区分部；（二）1924年1月召开国民党第一次全国代表大会；（三）成立国民党临时中央执行委员会，胡汉民、林森、廖仲恺、谭平山为委员，汪精卫、李大钊为候补委员，负责国民党全面改组筹备工作。国民党过去没有一套严密的组织体系，总部由总理决定一切，各省只有支部，而无基层组织。因此，改组将重点放在组织制度的大力整顿和改造方面。11月，国民党临时中央执行委员会发布了《中国国民党党纲草案》、《中国国民党党章草案》、《中国国民党改组宣言》。党纲草案对中央到地方的各级组织机构都作了详密的规定，提出将区分部一级组织作为“党之基本组织”。

为了取得经验，指导各地的改组工作，国民党临时中央在政局较稳、群众基础较好的广州进行了改组的实地试验。1923年11月11日，孙中山召开党务大会，宣布在广州进行两个月的改组试点工作。大会决定按警察区域划分，把广州分为12个区，按区来组织国民党区党部和分部，并让中共党员和青年团员加入国民党，帮助改组和建立广州的国民党各级组织。同日，国民党广州市全体党员大会在广东师范学校举行，与会者2000多人，廖仲恺担任主席。会议部署了基层党部的组建工作。随后，广州市依照党章草案的规定，从党员登记入手展开改组工作。在广州市内居住的党员，在规定的时间内重新登记手续。

中共广东区委和青年团广东区委、广州地委对试验工作十分重视，发动党团员参加国民党基层组织的建立和选举。11月18日，中共广东区委和青年团广东区委召开联席会议，决定（一）凡没有中共党员参加的国民党区分部，至少应派党员1人前往参加；（二）凡有3名以上中共党员参加的区分部，应建立中共党小组。会后，团广东区委马上抽调36名团员骨干深入广州国民党组织中，调查阶级状况，开展宣传发动工作，帮助召开党务会议，讨论改组事项，帮助办理党员登记，指导选举，建立各级党部和分部等。到12月，广州市各区的国民党区党部、区分部基本上建立起来。截至1924年1月12日止，全市党员登记数达8218人，两个月新增党员4569人，新增党员多数是学生和工人，其中工人占60%。依据党章草案，全市共成立9个正式区党部，3个代理区党部，66个区分部，3个特别区分部。一些著名共产党人和社会主义青年团员如阮啸仙、刘尔崧、杨匏安、周其鉴、周文雍等20人分别出任国民党广州市各区分部或区党部执行委员。有的还兼任秘书，主持该分部的日常工作。

国共合作在广州的初步成功，使国共两党的关系更加密切，为全面改组积累了经验。