日军侵占广州后，市内有一段时间没有中共组织。但随着抗日战争形势的发展，从1941年起，各游击区的中共组织，陆续派了一些党员潜回广州市区建立联络站或交通站。1942年12月，日军发动太平洋战争，香港沦陷后，广州的战略地位显得更重要。如交通联络、传递信息、收集情报、为游击区采购物资等都要靠广州才能办到。因此，中共粤南省委、中共北江特委、东江游击队和珠江游击队等系统的中共组织纷纷派党员回省城建立联络站、交通站。

　　从1941年底起，中共粤南省委(设在香港，由梁广任书记，负责领导沦陷区的党组织)陆续从香港和珠江三角洲调派余美庆、萧泛波、曾珍等一批党员进入广州，通过社会关系，建立秘密工作据点。遵照中共中央提出的“荫蔽精干，长期埋伏，积蓄力量，等待时机”的方针，实行单线联系，进行隐蔽斗争。余、萧、曾三人均由梁广分别单线联系。

　　1941年春夏间，中共北江特委为配合该地区游击战争，派出王磊、徐恩、梁庄仪、陈新等10多名党员，进入广州，任命王磊为特派员，受北江特委书记黄松坚直接领导。他们先后在万福路梁培基药房、二沙头颐养院、泰康路洪门小学及西关分校等处，建立了隐蔽的地下工作据点。他们通过建立“游击队之友”等外围组织和举办积极分子学习班，培养教育了一批抗日积极分子，从中吸收了一部分人入党，并将一部分积极分子输送到游击区去。后来，党员人数发展到30多人。1943年王磊调离广州后，北江特委改派何君侠为特派员，领导北江系统在广州的党组织。他到职后打入洪门会担任股长的职务，控制了纺织、机器、香烟等13个行业的“工人休憩室”(即工会组织)。

　　从1941年开始，东江游击队(后为东江纵队)，陆续派陈坤、杨和、钟国祥夫妇、麦任、钟钜文等30多名党员干部到广州建立地下联络站，负责人是杨和、麦任、钟文钜，直接由东江游击区部队党委领导。他们通过地下交通站或联络站护送100多名青年积极分子到东江游击区；还利用各种社会关系，打入一些敌伪机关，获取了一批敌伪的重要军事、政治情报，很好地配合了敌后游击战争。

　　1940年6月，在中共珠江三角洲中心县委领导下，成立了中共南(海)番(禺)区委，由严尚民、黄友涯等组成。黄友涯负责开展广州地下工作，并先后派中共党员梁铁、陈立光等到广州南郊裕安围等乡村建立据点，组织读书会、兄弟会等组织，团结教育群众，发展党组织。1941年春，中心县委又派出党员崔佳(崔楷权)、李淑明等回广州，在云台里崔佳家里和广安柴店两处建立联络站，崔佳以“甲长”作掩护，收集敌伪情报。为了加强地下斗争，1942年中心县委又派郑鼎诺、郭静之到广州领导地下联络站。1945年，郭静之在大德路、郑鼎诺在万善小学分别建立了新的联络站和据点。这些地下联络站和据点都很好地配合了珠江三角洲敌后游击战争。

　　1943年春，中共珠江三角洲中心县委派卫国尧、卢德耀到广州南郊沥滘乡建立秘密据点，开设了一间米机厂和一间小学，安排一些党员，成立党支部以及党的外围组织“兄弟会”、“关帝会”、“同心会”等。为铲除以卫金允为首的卫氏十兄弟(俗称“十老虎”)的汉奸势力，动员青年参加游击队等起了重大作用。

　　1943年底，中共广东省临委成员、主管沦陷区党组织的梁广，从香港潜入广州，在十三行开设华昌京果药材行作掩护，建立秘密据点，逐步与各系统到广州建立的联络站取得联系，并指导、协调各组织之间的行动。1944年底梁广调走后，省临委派陈翔南接替其工作。陈翔南从东江游击区到广州后，根据广东省临委的指示，把广州各条线的地下党组织全部统一起来，并在这个基础上继续稳步发展。先后同原粤南省委系统的余美庆、曾珍，北江特委系统的何君侠，东纵系统的麦任，珠纵系统的郭静之等地下党组织的领导人取得联系，由陈翔南、麦任、余美庆3人组成广州地下党组织的领导核心，陈翔南负总责。此时，广州地下党组织共有党员80人左右。1945年5月开始，中国共产党领导的八路军、新四军对日军展开大规模的夏季攻势，广东境内的东江纵队、珠江纵队也加紧对广州的包围，东纵第四支队到广州东北郊，珠纵第二支队在广州南郊逼近，准备收复广州市区。但8月15日日本政府正式宣布无条件投降后，蒋介石在美国的支持下，急忙空运新一军、新六军到广州，抢占抗战胜利果实，致使东江纵队和珠江纵队收复广州的计划未能实现。