字节跳动开源LightSeq训练加速引擎 支持Transformer全流程训练加速

【字谜科技讯】6月28日消息,今日,字节跳动火山翻译团队宣布推出LightSeq训练加速引擎,并向全球开发者开源。

据介绍,LightSeq训练加速引擎能够支持Transformer的完整加速,从词嵌入层、编码层、解码层,到最后的损失函数层,业内首次实现全流程支持。且LightSeq训练速度极快,相比主流的序列生成库,LightSeq最快只需要三分之一的时间就能完成训练。

据悉,早在2019年12月,字节跳动曾经开源过一款Transformer类模型推理加速引擎——LightSeq。此次开源的LightSeq训练加速引擎是最新版本,引入了引擎方面的重大更新——支持了Transformer全流程训练加速,在不同的批处理大小下相比主流训练库最高可加速3倍多!LightSeq打通了从训练到推理部署的整个过程。

发表评论

相关文章