70B 模型，秒出 1000token，换算成字符接近 4000！
研究人员将 Llama3 举行了微调并引入加快算法，和原生版本相比，速率足足快出了快了 13 倍！
不仅是快，在代码重写工作上的显露甚至超越了 GPT-4o。
这项成果，来自爆火的 AI 编程神器 Cursor 背后团队 anysphere，OpenAI 也参与过投资。
要知道在以快著称的推理加快框架 Groq 上，70B Llama3 的推理速率也不过每秒 300 多 token。
Cursor 这样的速率，可以说是实现了近乎即时的完整代码文件编写。
有人直呼好家伙，如果把 Cursor 魔改后的 Llama3 放到 Groq 上，是不是每秒能跑出上万 token 了。
更是有人激动地说，在大模型领域，我们正在消除“延时”这一概念。
引入全新推理加快算法
作家此次设计的加快方法，主要是用来解决一种名为“Fast Apply”的工作，即对代码内容举行快速点窜并应用。
首先需要说明的是，虽然说工作最终实现的效果是代码的部分点窜，但是实际操作过程中，输入并非是只有变化的内容，而是直接全局重写。
这样做的原因，是团队在预先测试后做出的选择 —— 他们发现，除了 Claude-3-Opus，大多数模型在真・部分点窜工作上的显露都不理想。
之所以会这样，主要有以下三个原因：
首先是直接重写时会输入更多 token，使得有更多的前向传递来确定正确的解决方案。
其次，模型的训练数据也大部分都是完整代码，对部分点窜相对陌生。
此外，大模型糟糕的数学运算也无法保证能在输入差异时正确处理行号。
（不过作家认为这仍然是一个有潜力的未来研究方向。）
确定了采用全局重写的方案后，Cursor 团队使用了工作相关的数据对 Llama3 举行了微调。
所采用的数据有真实编写数据与合成数据两大来源，按照 1:4 的比例举行了混合。
其中合成数据是指用 GPT-4 生成代码编写的建议，然后用其他模型将这些建议“应用”到原始代码上。
为了提高数据集的质量，作家还对小文件、重复文件和无变化样本举行了下采样。
为了评估这些模型的显露，作家让它们处理了 450 个代码编写工作（每个都不超过 400 行），并用 Claude3-Opus 对输入举行了打分。
最终，作家微调出的 70B Llama3 模型，显露几乎与 Claude3-Opus-diff 匹配，并且优于 GPT-4-Turbo 和 GPT-4o。
至此的微调解决了性能问题，但不难看出此时的 Llama3 速率依然很慢，每秒只能输入不到 300 个字符（注意是字符，不是词也不是 token）。
而让改写工作快到飞起的，还有另一项秘密武器。
针对代码改写工作，Cursor 团队专门引入了一种名为预计性编写（speculative edits）的算法。
这种方式用一种先验算法来对多个后续 token 举行预计，然后再用本体大模型举行验证，降低了大模型的调用次数，从而减轻了运算量。
这种先验算法来自于代码工作的一个特点 —— 相比于其他文本，其词表更小，且语法结构、缩进规则等拥有更高的确定性，利用先验知识可以更精准预计未来的 token。
这样的做法也与 GPT-4 和 Meta 有着共通之处 ——
传统的语言模型推理推理速率较慢的原因，主要是预计下一个 token 的过程通常是自回归的，即模型在生成每个 token 时，都要考虑之前生成的所有 token。
为了降低运算量，以 GPT-4 为代表的大模型，使用了名为预计解码（speculative decoding）的加快算法，通过小的近似模型提前举行预计，然后再让本体大模型对预计结果举行验证。
Cursor 和 GPT-4 的区别就在于，前者的小“模型”是一种更确定的算法，而后者只是模型规模减小，本质上仍是概率预计。
Meta 这边则是推出了一次性预计多个后续 token 的算法，用 n 个独立的输入头并行预计 n 个未来 token，结果发现在编程工作上显露尤其优异，原因是由于编程语言的逻辑结构更严谨，知识的内在联系更紧密。
当然，Cursor 对这种特点利用更为充分，没有用注意力头，而是直接拿更确定的算法来做多 token 预计。
最终的结果就是，预计算法为 70B 的 Llama3 带来了近 13 倍的速率提升，而测评显露没有任何损失。
此外，作家还与企业 AI 模型基础设施平台 fireworks.ai 合作，利用其优化的推理引擎和定制化的硬件环境，进一步提高了模型的运行效率。
未来，团队还计划举行知识蒸馏，并把预计编写算法迁移到更小的 8B Llama3，并扩展到更多的编程语言和工作。
同时，对于 Cursor 团队研究过但并未采用的真・部分点窜（Diff）算法，作家也计划举行改进。
One More Thing
在实验当中，作家不仅用预计算法加快了 Llama3，也实现了对 GPT4-Turbo 的加快。
不过作家并没有介绍具体在 GPT 当中如何实现，而是留做了思考题，还搞了一场“有奖竞猜”。
能够正确解答的人将获得 1 个月的 Cursor 会员；如果能在 vllm 和 TensorRT-LLM 中实现预计加快，将分别获得半年和一年的会员。
如果你感觉有思路的话，不妨挑战试试（手动狗头）。
参考链接：
https://cursor.sh/blog/instant-apply#user-content-fnref-feel-difference
本文来自微信公众号：量子位 （ID：QbitAI），作家：克雷西