HyperAttention

全新近似注意力机制HyperAttention：对长上下文友好、LLM推理提速50%

本文介绍了一项近似注意力机制新研究，耶鲁大学、谷歌研究院等机构提出了 HyperAttention，使 ChatGLM2 在 32k 上下文长度上的推理时间快了 50%。Transformer 已经成功应用于自然语言处理、计算机视觉和时间序列预测等领域的各种学习任务。虽然取得了成功，但这些模型仍面临着严重的可扩展性限制，原因是对其注意力层的精确计算导致了二次（在序列长度上）运行时和内存复杂性。这对将 Transformer 模型扩展到更长的上下文长度带来了根本性的挑战。业界已经探索了各种方法来解决二次时间注意力层的

11/13/2023 6:20:00 PM

机器之心

资讯热榜

Unsloth发布Qwen3动态量化2.0版本，优化本地运行体验大BUG！非学生用户竟能白嫖谷歌顶级AI全家桶白嫖攻略速看小米首个推理大模型开源Xiaomi MiMo，70 亿参数 DeepSeek-Prover-V2-671B 模型开源，数学推理领域迎来新突破看不懂新开源的DS-Prover V2版本？解读来了，攻克像人类一样数学证明，达到SoTA水平，不知道如何测？样题来了 Midjourney V7推出全新功能 “Omni-Reference”，让图像生成更灵活 GPT-4o生成的烂自拍，反而比我们更真实 Qwen3来了！新一代高性能与混合推理能力兼备的大语言模型！

标签云

人工智能 OpenAI AI AIGC ChatGPT AI绘画 DeepSeek 模型数据机器人谷歌大模型 Midjourney 智能用户开源学习 GPT 微软 Meta 图像 AI创作技术论文 Gemini 马斯克 Stable Diffusion 算法蛋白质芯片代码生成式英伟达腾讯神经网络研究 Anthropic 计算 3D Sora 机器学习 AI for Science AI设计开发者 GPU AI视频华为场景人形机器人预测百度苹果伟达 Transformer 深度学习 Claude xAI 模态字节跳动大语言模型搜索驾驶具身智能神器推荐文本 LLaMA Copilot 训练算力视觉安全视频生成干货合集应用科技智能体大型语言模型亚马逊 AGI DeepMind