上海社会主义青年团成立后，陈独秀函约谭平山、陈公博、谭植棠等在广州进行建团工作。谭平山等立即响应，于1920年8月开始组织广州社会主义青年团的工作。同年10月，他们创办了《广东群报》，并以之作为团结进步青年的机关，通过同学、同事和同乡关系，很快发展谭天度、杨匏安、陈俊生、冯菊坡、阮啸仙、刘尔崧、周其鉴、张善铭、梁复然、王寒烬等十几名团员。11月下旬，青年团与区声白等无政府主义者领导的互助团合并，团员增至数十人。随即在广东高等师范学校召开了广州社会主义青年团成立大会，通过了广州社会主义青年团章程，明确其宗旨为“研究社会主义，并采用直接行动的方法，以达改造社会的目的”，并选举谭平山为负责人。青年团在广州永汉北路（今北京路）19号2楼设通讯处，成立干事局，设立图书馆，组织团员研究理论，开展社会活动。梁复然、王寒烬等到佛山开展工人运动，于1921年春末先后组织了土木建筑工会和理发工会；阮啸仙、刘尔崧、周其鉴、张善铭等在广东甲种工业学校发起旨在改造学校的“读书运动”，斗争坚持3个月，终于迫使省政府于6月撤换了封建保守的校长；1921年4月，青年团利用纪念五一节的机会，向各工会散发宣传品，宣传社会主义。但是，无政府主义者的信仰与科学社会主义是迥然不同的，在实际活动中，互助团与青年团的争论和分歧越来越大，1921年3月，互助团退出了广州社会主义青年团。同年5月，广州社会主义青年团由于没有具体工作计划等原因而停止了活动。

1921年7月在上海召开的中共一大，作出了在各地都成立社会主义青年团的决定。中共广东支部负责人谭平山接受上海总团的委托，到广州组织社会主义青年团。同年12月，恢复了广州社会主义青年团的活动，并以之为基础筹建广东社会主义青年团。1922年1月15日，广州社会主义青年团发起举行了纪念德国马克思主义者李卜克内西和卢森堡的万人隆重集会。大会公开提出了建团的号召，说明入团的目的、报名手续和接头地点，发动革命青年参加社会主义青年团。此后，团组织迅速发展，到3月6日发展到了400多人。广东社会主义青年团随即公开组织，在素波巷19号设立办事处，于2月19日开始对外办公室，谭植棠、张翼鹏、刘琴西、刘尔崧为经理。各项工作也开展起来，团机关报《青年周刊》于1922年2月26日创刊。1922年3月14日，广东社会主义青年团在东园召开了成立大会。随后公布了《广东社会主义青年团修正章程》，明确规定“以研究马克思主义，实行社会改造为宗旨”。广东社会主义青年团下设7个委员会和3个部，选举谭平山为书记，王寒烬、陈公博、谢英伯、王觉群、余韶、陈俊生、何寿英分别任劳工、学生、妇女、农民、军人、社会教育、政治宣传7个委员会的委员长，杨章甫、梁空、谭植棠分别为文书部、宣传部、财政部主任。

不久，发生陈炯明叛变事件，广东社会主义青年团的主要负责人因没有执行中共中央局关于拥孙反陈的指示而受到纪律处分，谭平山调往北京，陈公博被开除党籍，谭植棠也受到党纪处分，团组织处于瘫痪状态，直至1923年初陈炯明被驱逐出广州后才恢复正常活动。