TurboTransformers 來(lái)自于深度學(xué)習(xí)自然語(yǔ)言處理基礎(chǔ)平臺(tái) TencentNLP Oteam，旨在搭建統(tǒng)一的深度學(xué)習(xí) NLP （Natural Language Processing，自然語(yǔ)言處理）基礎(chǔ)平臺(tái)、提升研發(fā)效能。

特性：

• 優(yōu)異的 CPU/GPU 性能表現(xiàn)。面向 Intel 多核 CPU 和 NVIDIA GPU 硬件平臺(tái)，通過(guò)核心融合和并行算法優(yōu)化，TurboTransformers 充發(fā)揮硬件的各層級(jí)并行計(jì)算的能力。在多種 CPU 和 GPU 硬件上獲得了超過(guò) PyTorch/TensorFlow 和目前主流優(yōu)化引擎（如 onnxruntime-mkldnn/onnxruntime-gpu、torch JIT、NVIDIA faster transformers）的性能表現(xiàn)。
• 為 NLP 推理任務(wù)特點(diǎn)量身定制。TurboTransformers 可以支持變長(zhǎng)輸入序列處理，無(wú)需序列補(bǔ)零、截?cái)嗷蛘叻滞皫?lái)的無(wú)用計(jì)算，也無(wú)需任何針對(duì)計(jì)算圖在推理前進(jìn)行預(yù)調(diào)優(yōu)的過(guò)程。
• 簡(jiǎn)單的使用方式。TurboTransformers 支持 Python 和 C++ 接口進(jìn)行調(diào)用。TurboTransformers 支持 TensorFlow 和 PyTorch 預(yù)訓(xùn)練模型的載入。它可以作為 huggingface/transformers 的推理加速插件，通過(guò)加入幾行 Python 代碼獲得對(duì) BERT 模型的端對(duì)端加速效果。