70B 模型秒出 1000token,代码重写超越 GPT-4o,来自 OpenAI 投资的代码神器 Cursor 团队

70B 模型,秒出 1000token,换算成字符接近 4000!研究人员将 Llama3 举行了微调并引入加快算法,和原生版本相比,速率足足快出了快了 13 倍!不仅是快,在代码重写工作上的显露甚至超越了 GPT-4o。这项成果,来自爆火的 AI 编程神器 Cursor 背后团队 anysphere,OpenAI 也参与过投资。要知道在以快著称的推理加快框架 Groq 上,70B Llama3 的推理速率也不过每秒 300 多 token。Cursor 这样的速率,可以说是实现了近乎即时的完整代码文件编写。有人直

70B 模型,秒出 1000token,换算成字符接近 4000!

研究人员将 Llama3 举行了微调并引入加快算法,和原生版本相比,速率足足快出了快了 13 倍!

不仅是快,在代码重写工作上的显露甚至超越了 GPT-4o。

这项成果,来自爆火的 AI 编程神器 Cursor 背后团队 anysphere,OpenAI 也参与过投资。

70B 模型秒出 1000token,代码重写超越 GPT-4o,来自 OpenAI 投资的代码神器 Cursor 团队

要知道在以快著称的推理加快框架 Groq 上,70B Llama3 的推理速率也不过每秒 300 多 token。

Cursor 这样的速率,可以说是实现了近乎即时的完整代码文件编写。

有人直呼好家伙,如果把 Cursor 魔改后的 Llama3 放到 Groq 上,是不是每秒能跑出上万 token 了。

70B 模型秒出 1000token,代码重写超越 GPT-4o,来自 OpenAI 投资的代码神器 Cursor 团队

更是有人激动地说,在大模型领域,我们正在消除“延时”这一概念。

70B 模型秒出 1000token,代码重写超越 GPT-4o,来自 OpenAI 投资的代码神器 Cursor 团队

引入全新推理加快算法

作家此次设计的加快方法,主要是用来解决一种名为“Fast Apply”的工作,即对代码内容举行快速点窜并应用。

首先需要说明的是,虽然说工作最终实现的效果是代码的部分点窜,但是实际操作过程中,输入并非是只有变化的内容,而是直接全局重写

这样做的原因,是团队在预先测试后做出的选择 —— 他们发现,除了 Claude-3-Opus,大多数模型在真・部分点窜工作上的显露都不理想。

之所以会这样,主要有以下三个原因:

首先是直接重写时会输入更多 token,使得有更多的前向传递来确定正确的解决方案。

其次,模型的训练数据也大部分都是完整代码,对部分点窜相对陌生。

此外,大模型糟糕的数学运算也无法保证能在输入差异时正确处理行号。

(不过作家认为这仍然是一个有潜力的未来研究方向。)

70B 模型秒出 1000token,代码重写超越 GPT-4o,来自 OpenAI 投资的代码神器 Cursor 团队

确定了采用全局重写的方案后,Cursor 团队使用了工作相关的数据对 Llama3 举行了微调。

所采用的数据有真实编写数据与合成数据两大来源,按照 1:4 的比例举行了混合。

其中合成数据是指用 GPT-4 生成代码编写的建议,然后用其他模型将这些建议“应用”到原始代码上。

为了提高数据集的质量,作家还对小文件、重复文件和无变化样本举行了下采样。

70B 模型秒出 1000token,代码重写超越 GPT-4o,来自 OpenAI 投资的代码神器 Cursor 团队

为了评估这些模型的显露,作家让它们处理了 450 个代码编写工作(每个都不超过 400 行),并用 Claude3-Opus 对输入举行了打分。

最终,作家微调出的 70B Llama3 模型,显露几乎与 Claude3-Opus-diff 匹配,并且优于 GPT-4-Turbo 和 GPT-4o。

70B 模型秒出 1000token,代码重写超越 GPT-4o,来自 OpenAI 投资的代码神器 Cursor 团队

至此的微调解决了性能问题,但不难看出此时的 Llama3 速率依然很慢,每秒只能输入不到 300 个字符(注意是字符,不是词也不是 token)。

而让改写工作快到飞起的,还有另一项秘密武器。

针对代码改写工作,Cursor 团队专门引入了一种名为预计性编写(speculative edits)的算法。

这种方式用一种先验算法来对多个后续 token 举行预计,然后再用本体大模型举行验证,降低了大模型的调用次数,从而减轻了运算量。

这种先验算法来自于代码工作的一个特点 —— 相比于其他文本,其词表更小,且语法结构、缩进规则等拥有更高的确定性,利用先验知识可以更精准预计未来的 token。

这样的做法也与 GPT-4 和 Meta 有着共通之处 ——

传统的语言模型推理推理速率较慢的原因,主要是预计下一个 token 的过程通常是自回归的,即模型在生成每个 token 时,都要考虑之前生成的所有 token。

为了降低运算量,以 GPT-4 为代表的大模型,使用了名为预计解码(speculative decoding)的加快算法,通过小的近似模型提前举行预计,然后再让本体大模型对预计结果举行验证。

Cursor 和 GPT-4 的区别就在于,前者的小“模型”是一种更确定的算法,而后者只是模型规模减小,本质上仍是概率预计。

Meta 这边则是推出了一次性预计多个后续 token 的算法,用 n 个独立的输入头并行预计 n 个未来 token,结果发现在编程工作上显露尤其优异,原因是由于编程语言的逻辑结构更严谨,知识的内在联系更紧密。

当然,Cursor 对这种特点利用更为充分,没有用注意力头,而是直接拿更确定的算法来做多 token 预计。

最终的结果就是,预计算法为 70B 的 Llama3 带来了近 13 倍的速率提升,而测评显露没有任何损失。

70B 模型秒出 1000token,代码重写超越 GPT-4o,来自 OpenAI 投资的代码神器 Cursor 团队

此外,作家还与企业 AI 模型基础设施平台 fireworks.ai 合作,利用其优化的推理引擎和定制化的硬件环境,进一步提高了模型的运行效率。

未来,团队还计划举行知识蒸馏,并把预计编写算法迁移到更小的 8B Llama3,并扩展到更多的编程语言和工作。

同时,对于 Cursor 团队研究过但并未采用的真・部分点窜(Diff)算法,作家也计划举行改进。

One More Thing

在实验当中,作家不仅用预计算法加快了 Llama3,也实现了对 GPT4-Turbo 的加快。

不过作家并没有介绍具体在 GPT 当中如何实现,而是留做了思考题,还搞了一场“有奖竞猜”。

能够正确解答的人将获得 1 个月的 Cursor 会员;如果能在 vllm 和 TensorRT-LLM 中实现预计加快,将分别获得半年和一年的会员。

70B 模型秒出 1000token,代码重写超越 GPT-4o,来自 OpenAI 投资的代码神器 Cursor 团队

如果你感觉有思路的话,不妨挑战试试(手动狗头)。

参考链接:

https://cursor.sh/blog/instant-apply#user-content-fnref-feel-difference

本文来自微信公众号:量子位 (ID:QbitAI),作家:克雷西

给TA打赏
共{{data.count}}人
人已打赏
AI

腾讯将推 C 端帮忙 App 腾讯元宝:鉴于混元大模型,支撑 AI 搜索、文档归纳、书面语陪练

2024-5-17 18:37:50

AI

文生图 AI 巨头 Stability AI 被曝欠下近 1 亿美元,正与投资者洽商融资事件

2024-5-17 20:12:25

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索