字节跳动开源LightSeq训练加速引擎 支持Transformer全流程训练加速

【字谜科技讯】6月28日消息，今日，字节跳动火山翻译团队宣布推出LightSeq训练加速引擎，并向全球开发者开源。

据介绍，LightSeq训练加速引擎能够支持Transformer的完整加速，从词嵌入层、编码层、解码层，到最后的损失函数层，业内首次实现全流程支持。且LightSeq训练速度极快，相比主流的序列生成库，LightSeq最快只需要三分之一的时间就能完成训练。

据悉，早在2019年12月，字节跳动曾经开源过一款Transformer类模型推理加速引擎——LightSeq。此次开源的LightSeq训练加速引擎是最新版本，引入了引擎方面的重大更新——支持了Transformer全流程训练加速，在不同的批处理大小下相比主流训练库最高可加速3倍多！LightSeq打通了从训练到推理部署的整个过程。