MoA

无问芯穹提出混合稀疏注意力方案MoA，加速长文本生成，实现最高8倍吞吐率提升

随着大语言模型在长文本场景下的需求不断涌现，其核心的注意力机制（Attention Mechanism）也获得了非常多的关注。注意力机制会计算一定跨度内输入文本（令牌，Token）之间的交互，从而实现对上下文的理解。随着应用的发展，高效处理更长输入的需求也随之增长 [1][2]，这带来了计算代价的挑战：注意力高昂的计算成本和不断增长的键值缓存（KV-Cache）代价。

11/8/2024 1:12:00 PM

机器之心

资讯热榜

Cursor宣布免费向学生开放一年Pro会员，助力AI编程教育大BUG！非学生用户竟能白嫖谷歌顶级AI全家桶白嫖攻略速看保姆级教程：零代码基础也能微调Qwen3，并本地部署 Midjourney V7推出全新功能 “Omni-Reference”，让图像生成更灵活尤雨溪：让 AI 更好的理解 Vue、Vite 应对网络威胁利器！Cisco与Meta推出Foundation-sec-8B LLM 英伟达全新开源自动语音识别模型 Parakeet-TDT-0.6B-V2，语音转录能力再提升趋势抢先知！2025年4月值得关注的10条AI资讯

标签云

人工智能 OpenAI AI AIGC ChatGPT DeepSeek AI绘画模型数据机器人谷歌大模型 Midjourney 智能用户开源学习微软 GPT Meta 图像 AI创作技术 Gemini 论文马斯克 Stable Diffusion 算法芯片蛋白质生成式代码英伟达腾讯神经网络研究 Anthropic 计算 3D Sora AI设计开发者机器学习 AI for Science GPU AI视频场景苹果华为人形机器人预测百度伟达 Transformer 深度学习 Claude 搜索 xAI 大语言模型模态字节跳动驾驶具身智能神器推荐文本训练 LLaMA Copilot 视觉算力安全应用视频生成干货合集智能体大型语言模型亚马逊科技 AGI DeepMind