清代在广州设两广总督署、广州将军署，分别统辖两广绿营与驻防满、汉八旗军。光绪六年（1880），朝廷命令逐步以勇营代替绿营，于是有练军之设。光绪十年（1884）7月张之洞正式接任两广总督后，即拟募练劲兵一支，但因经费支绌，尚未举办。翌年1月，张之洞奏准由山西筹借专款，以充军需饷项。是年2月19日张便令总兵李先义招募编练广胜军。

　　李先义久历戎行，在津沪甚久，于外洋军火，素称熟悉。李先义先在广东招募三营，不论籍贯，只要求身体精壮，品质纯朴；同时派员赴天津、徐州，挑募两营，共编为广胜军前、后、中、左、右五营，总计2500人，择地驻扎，勤加训练。

　　同年7月7日，张之洞奏《教练广胜军专习洋战片》中更明确表示该军之设，是比较中外军队特点后，决定编练的，强调“炮准、枪机、营工、雷式”；“该军新立章程，不分门户，营哨各官，不拘一省，勇丁南北皆有，不限一方”。至于该军之装备、训练，则是“多购克虏伯行营车炮、上等快枪，发给该军，精加训练，旧式刀矛，概屏不用。专练数端：一炮准，一卧枪，一散队，一夜战，一疾行，一壕登山，一造地营，一安地营，一兼演洋式火箭、行军电线。兼派洋弁为教习。”张之洞在该片中还提出效法洋人，当学其纪律、枪炮取准之法，筑台造垒之式及考究洋械机括、子药利病；因实战证明洋兵亦有其弊病，所以不学习其操式、聚散及队伍进退之法；口号用华语；营规、纪律、筑垒、掘濠诸工作，则采湘军、淮军规制，又明定赏罚，严加考核。张之洞本人每半月亲临检阅一次。

　　广胜军的创办在中国军制改革中具有重要意义，为新军编练提供了经验，张之洞后来在江、鄂编练江南自强军、湖北新军，不少骨干，便是来自广胜军。