1927 年 12 月，广州起义失利后，部分起义部队撤往花县花城，并进行整编，成立了红四师，地址在广州市花都区花城圩内的县立第一高等小学。

1927 年 12 月 13 日，广州起义失败，由叶镛、袁裕、徐向前、唐维等率领的教导团、警卫团余部及工人赤卫队、农军部分人员于15 日撤退至花县县城——花城，击退花县反动民团1000 多人的围攻，汇合花县农军，乘胜拔掉民团盘踞的石岩塘、水渭、仙阁三个据点。花县各地的农民武装及农会骨干纷纷会聚花城，“农民群众不期而来者数千人，大杀豪绅地主，自己动手没收土地，要求革命的士兵和他们一齐去打反动乡村”（见1928 年1 月30日出版的《布尔什维克》第15 期），并带来物品热情慰问起义军。

教导团和警卫团全部撤到花县后，与先期撤退到这里的由王侃予、宋湘涛、吴展率领的黄埔军校特务营余部汇合，合共1000 多人，其中 共产党员300 多人，枪1100枝，在与上级党组织失去联系的情况下，唐维鉴于起义军余部以教导团、警卫团、黄埔军校特务营分头指挥，给部队的统一领导带来不便等情况，与王侃予等人商量，提出将部队加以整编，得到大家一致支持。

12 月 16 日，起义部队在花县县立第一高等小学的一间教室里举行党的会议，讨论部队的整编及今后的行动问题，花县 县委重要成员及农军骨干刘绥华、徐广松、张耀东、侯立墀、王炳坤等也参加了会议。会议决定将起义部队和部分花县农军整编成立中国工农红军第四师，推选叶镛为师长，宋湘涛为副师长，袁裕为师参谋长。会议还选举产生了师的委员会，委员有：唐维、王侃予、陆更夫、徐向前，唐维为师党委书记，王侃予为红四师党代表。会议最后决定前往韶关与朱德的部队汇合，并立即派人前去联络。

12 月 17 日午后，部队集合在县立第一高等小学的操场上，举行了热烈而隆重的红四师成立大会。红四师成立后，一方面进行休整，等待与朱德部队联络的消息，另一方面协助花县 县委开展各项工作，在部队的支持下，县委成立了花县苏维埃政府。12月18日，师部鉴于寻找朱德部队未果，给养又困难，敌人的追兵很快赶到等情况，决定前往海陆丰与彭湃的红二师会合。当晚，红四师撤离花县，经从化向海陆丰进发。

红四师的成立，在我军创建初期的历史上有着重要的意义。它表现了中国共产党人百折不挠的斗争意志和不怕牺牲的英雄气概，显示了中国共产党人领导人民开创的革命事业具有强大的生命力。

红四师成立所在地——花县县立第一高等小学在抗战期间毁于战火，被夷为平地，现只留下其遗址残迹。