大多数关于在生产中安排 Transformer 类模型的教程都是鉴于 PyTorch 和 FastAPI 建立的。两者都是很好的工具，但在推理方面的机能不是很好。而如果你花费时间进行研究，可以在 ONNX Runtime 和 Triton 推理服务器上建立一些更好的东西。与卓越 PyTorch 比拟，推理速率通常会快 2 到 4 倍。如果你想要在 GPU 上获得一流的机能，那么只有一种可能的组合：Nvidia TensorRT 和 Triton。与卓越 PyTorch 比拟，最终可以获得 5 倍的推理速率。有时它甚至能将推理速率提高 10 倍。然而 TensorRT 并不是以简单易用著称的，对于 Transformer 模型更是如此，它需要使用特定的技巧。
然后，如果你花一些时间，你可以在 ONNX Runtime 和 Triton 推理服务器上建立一些东西。与卓越 Pytorch 比拟，你的推理速率通常会快 2 到 4 倍。近日，Hugging Face 发布了一款名为 Infinity 的商业产品，可以以无比高的机能进行推理（与 PyTorch + FastAPI 安排比拟，速率无比快）。不幸的是，根据该公司产品总监的说法，即使对于安排在一台机器上的单个模型，这也是一种付费产品，成本为 2 万美元（没有公开的具体规模信息）。在 GitHub 上有一个项目 Transformer-deploy，它是一种鉴于企业级软件的开源替代版：
推理服务器：Nvidia Triton（它接受查询，传输给引擎，并添加对推理有用的功能，如动态批处理或多推理引擎调度）
推理引擎：Microsoft ONNX Runtime（用于 CPU 和 GPU 推理）和 Nvidia TensorRT（仅限 GPU）
我们似乎不费吹灰之力，就可以轻松匹敌极少数 HF Infinity 公共基准。但事实上，现在仍然有机会进一步加快推理机能，AFAIK 尚未被任何其他 OSS 项目利用：对所有 Transformer 模型的 GPU 量化！如下是对 Roberta-base、seq len 256、batch 32、MNLI 数据集的尝试结果：
源代码：https://github.com/ELS-RD/transformer-deploy/blob/main/demo/quantization/quantization_end_to_end.ipynb
项目 GitHub：https://github.com/ELS-RD/transformer-deploy
执行 GPU 量化需要修改模型源代码（在矩阵乘法等代价高昂的操作上添加一些称为 QDQ 的特定节点），这既容易出错，又很枯燥，并且是件自己给自己挖坑的事。对此，项目作者已经为多个模型手动完成了这项工作。在作者看来，只需修补模型模块抽象语法树（也就是源代码）就可以自动完成这项工作。从用户端看，在 GPU 上执行模型的基本量化看起来就像这样：
如基准尝试结果所示，要获得比卓越 PyTorch 快 4.5 倍的模型，在 MNLI 数据集上的准确率需要牺牲 0.4 个百分点，这在许多情况下是一个合理的权衡。如果不希望损失准确度，加速也可以降到 3.2 倍左右。当然，实际应用时的 trade-off 取决于模型、数据集等，但它给出了一个基本概念。与该项目的先前版本比拟，这是一个很大的改进。成倍加速的背后，transformer 的源代码被解析为 AST，像 matmul 或 LayerNorm 这样的算子被一个量化器包装，线性层被它们的量化版本更换，一些不支持的 TensorRT 算子被更换等等。然后还有一部分新的源代码更换。作者表示，他们目前已经成功尝试了 ALBERT、BERT（包括 miniLM）、DistilBERT、Roberta（包括 Camembert、XLM-R、DistilRoberta 等）、Electra 的推理。对于任何可以导出为 ONNX 格式的 transformer 模型，它应该都是开箱即用的，或者只需很少的努力。关于 CPU 的推理、量化无比容易，且也是由 Transformer-deploy 项目支持的。但是在极端情况下，transformer 的机能会变得无比差（如没有批处理、无比短的序列和蒸馏模型时）。另外如使用鉴于上代英特尔 CPU 的实例，如 C6 或 M6，与像 Nvidia T4 这样的廉价 GPU 比拟，在 AWS 上的性价比会很低。综上所述，在 Transformer 推理上，除非你对慢速推理感到满意并采用小实例，否则并不推荐使用 CPU 推理。参考链接：https://www.reddit.com/r/MachineLearning/comments/rr17f9/p_45_times_faster_hugging_face_transformer/
原创文章，作者：机器之心，如若转载，请注明出处：https://www.iaiol.com/news/33987
