EAGLE

大模型推理无损加速6.5倍！EAGLE-3碾压一切、延续Scaling Law能力

自回归解码已然成为大语言模型的推理标准。大语言模型每次前向计算需要访问它全部的参数，但只能得到一个 token，导致其生成昂贵且缓慢。近日，EAGLE 团队的新作《EAGLE-3: Scaling up Inference Acceleration of Large Language Models via Training-Time Test》通过一系列优化解锁了投机采样的 Scaling Law 能力，可以将大语言模型的推理速度提高 6.5 倍，同时不改变大语言模型的输出分布，确保无损。

4/10/2025 11:12:00 AM

机器之心

大模型推理效率无损提升3倍，滑铁卢大学、北京大学等机构发布EAGLE

大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则：每个词（token）的生成都需要进行一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。近日，滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布 EAGLE，旨在提升大语言模型的推理速度，同时保证模型输出文本的分布一致。这种方法外推 LLM 的第二顶层特征向量，能够显著提升生成效率。技术报告：（支持商用 Apache 2.0）：具有以下特点：比普通自回归解码（

12/14/2023 2:26:00 PM

机器之心

资讯热榜

全新开源的DeepSeek-OCR，可能是最近最惊喜的模型！ AI 模型“炒股”比拼!DeepSeek 收益超14%，Gemini2.5Pro 惨亏四成具身智能学界业界思想「惊人的统一」？美团在IROS开了个学术年会刚刚，ChatGPT终于可以走遍整个互联网了！OpenAI深夜炸街：原生ChatGPT集成、即时理解、主动执行，浏览器赛道鲨疯了告别抽卡！Vidu Q2多图参考生视频功能重磅上线最强OCR竟然不是DeepSeek、Paddle！HuggingFace新作：六大顶尖开源OCR模型横评！继DS后又杀出匹黑马！ OpenAI首款ChatGPT浏览器发布！现在就能免费下载使用通义千问再放大招！Qwen3-VL 家族新增 2B 与 32B 模型，开源矩阵全面升级

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画机器人数据大模型 Midjourney 开源 Meta 智能微软用户 AI新词 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法芯片 AI for Science 腾讯 Stable Diffusion Agent 苹果 Claude 蛋白质开发者生成式神经网络 xAI 机器学习 3D 人形机器人研究 AI视频生成 RAG 大语言模型百度具身智能 Sora 工具 GPU 华为计算字节跳动 AI设计搜索大型语言模型 AGI 视频生成场景深度学习 DeepMind 架构视觉编程生成式AI 预测 Transformer AI模型伟达特斯拉 Copilot