广州起义失败后，中共广东省委决定由麦裕成为中共广州市委书记，重建中共广州市委，但不到一个月，市委机关即遭敌人破坏，市委书记麦裕成和市委委员黄丽江、范慎修、东区区委书记黄鸾祥被捕后遭杀害。1928年2月2日，根据省委的指示，又建立起中共广州市委，季步高任书记，周文雍、王华、谢田、叶耀球等为市委委员。但当天下午，周文雍和女共产党员陈铁军便被敌人逮捕，他们于2月6日英勇就义。周文雍在就义前写了“头可断，肢可折，革命精神不可灭。志士头颅为党落，好汉身躯为群裂”的诗篇。2月12日，市委机关遭破坏，市委除季步高1人外，其余都被敌人逮捕，先后牺牲10人。2月27日，省委派吴毅与季步高共同恢复市委的工作，吴毅任市委书记，季步高任市委常委兼兵委书记。到1928年7月，市委再次遭破坏，吴毅、季步高等10余人被捕牺牲。同月，重新建立中共广州市委，书记阮峙垣，但8月17日，阮峙垣在出发增城开展工作时，被国民党军队抓走，市委其他委员蒋光廷、吴星崖、闻禧、方达史等10余人先后被捕，方达史等牺牲。1928年8月，中共广东省委派钟伯喧来重建中共广州市委，李耀先任市委书记，委员黄益华、朱锦培。9月，李耀先被捕后牺牲，市委再次遭破坏，省委即派许潮任广州市委书记，陈郁协助恢复市委的工作。不久，许潮、陈郁调回香港；省委派邓发任市委书记，不久，邓发调回香港；同年12月和1929年1月，省委先后派姚常和黎伟雄担任市委书记，但他们到职后不久即被捕叛变，使广州党组织进一步受到破坏。1929年6月，省委调凌希天任中共广州市委负责人。10月，凌希天被捕牺牲。1929年11月～1932年8月这段时间，中共广州市委(曾改称中共广州特别支部)又历经5次重新组建，其中3次遭敌人破坏。1930年5月27日，市委机关遭破坏，10余人被捕，市委书记杜式哲被捕后牺牲。1932年3月，中共广州特别支部书记杨泓章被捕，同年8月，中共广州市委宣传部长陈复被捕后牺牲。

　　从广州起义失败后到1932年9月，革命处于低潮时期，广州党组织的活动主要是在工人群众中做一些宣传发动工作，没有大的举措。另外，在广州南石头监狱中的共产党员，曾建立狱中的特别支部，带领狱中的同志和难友进行斗争。

　　由于国民党反动当局的残酷镇压和中共党内连续三次“左”倾错误，广州党组织受到极大的损害，从1932年10月～1936年9月，广州党组织的活动被迫中断。