中华人民共和国成立初期，中国共产党就非常注重培养新型人才，创办新式大学是其最重要的一个方面，作为党的领袖和新中国的缔造者，毛泽东对这方面是非常重视的。广州解放初期，叶剑英在广州创办南方大学，就是在毛泽东的直接指示和关注下进行的。

1949年春，解放军横渡长江，解放江南，国民党政府搬到广州，同年夏，解放广州和华南的事情便被提上日程，毛泽东把当时任北平(今北京)市长的叶剑英调任中共中央华南分局第一书记，承担起解放广州和华南的责任。叶剑英向毛泽东汇报工作时谈到，由于解放军由北向南推进，各地解放后留下了许多干部，这样到广东，能用得上的干部就不多了，成了“水尾田”，需要培养更多的干部，参与即将解放的华南地区的革命和建设。毛泽东鼓励说，其实华南当地还有“一股泉水”——主要指共产党领导的包括东江、海南等地的地方武装，那里有很多干部可以使用。同时指示叶剑英到广州后，创办一所新式的革命大学——南方大学，培养更多理论联系实际的干部，并亲笔书写“南方大学”校名。

叶剑英接到毛泽东的指示后，随即通过中共中央组织部，抽调了当时在华北大学(后来的中国人民大学)当教授的陈唯实等17人于8月17日离京南下，9月上旬随军到达江西赣州，开始了南方大学的筹建工作。在赣州期间，华南分局专门讨论了解放广州有关的八件大事，创办南方大学即为其中最重要的内容之一。华南分局把包括创办南方大学在内的八件大事上报中央，很快得到党中央、毛主席的批复，筹备南方大学的机构也就在中共中央政治局指示下成立了。这些事实说明，创办南方大学是在毛泽东的指示和关注下，在叶剑英直接领导下进行的。

1949年10月14日，广州解放，南方大学的筹建工作进一步加快，很快选定广州石牌(今华南师大)为南方大学校址。经过一段时间的准备，同年12月便开始在《南方日报》上刊登招生启事，1950年1月1日正式开学，标志着南方大学的正式成立。叶剑英兼任校长，哲学家陈唯实为第一副校长，早年以“罗明路线”而闻名党内的革命家罗明为第二副校长，一时影响很大，甚至香港的《文汇报》发出评论：“南方大学的校长是著名红色将领叶剑英，南方大学的校址，在广州市郊的石牌，昔日的总统府楼阁如云，今后将成为士子学习深造的高等学府矣!”南方大学在1950年2月补开的开学典礼上专门给毛泽东发了致敬电：“南方大学的成立，是在您的英明领导下，华南获得解放的时候。我们坚决执行您所规定的知识分子政策和培养工农干部的教育方针，为完成您所指示的在南方办好一个大学而奋斗。”其后，南方大学有重大的活动，包括毕业庆典等都会给毛泽东发致敬电。

南方大学成立后，毛泽东对其继续给予了高度的关注。1950年6月，全国第一次高等教育会议在北京召开，叶剑英委派当时任南方大学第二副校长的罗明作为南方大学的代表参加。罗明在会上介绍了南方大学的有关情况，引起了毛泽东和周恩来的重视，他们分别接见了罗明。毛泽东特别肯定了南方大学开设马克思主义理论课的革命方向，勉励要继续办好南方大学，毛泽东还同罗明一起进餐，使身为南方大学副校长的罗明深受鼓舞。罗明回到南方大学后，立即把毛泽东对南方大学的肯定向全校师生作了传达，在广大师生中引起了强烈反响。

随着建国初期国内形势的变化，各项建设事业日益发展。1952年，华南分局和中南局有人向毛泽东反映广东存在“地方主义”，是年6月毛泽东突然将叶剑英、方方、陶铸召到北京开会，主要是批评华南分局领导上的“错误”。随后，叶剑英、方方分别写了检查。1952年10月，华南分局决定南方大学与其他院校调整，南方大学停办。根据现在健在的一些南方大学当年的干部和毕业生回忆，南方大学的撤销可能与当时的“反地方主义”有关，但目前尚没有发现这方面的文字记载。通常的说法是，1952年全国高等院校调整时，毛泽东和中央要求革命大学支援地方高校，南方大学的干部和教职员工分流到中山大学、华南师范学院、广东民族学院、广东革命干部学校等高校，南方大学随之解散。