MoA

告别“单打独斗”！AI 协作新范式 MoA，如何集结大模型“梦之队”？

大模型浪潮下，你的 AI 应用遇到瓶颈了吗？当 GPT、Claude、文心一言等各类强大模型如繁星般涌现，我们惊喜于它们令人惊叹的能力。然而，在实际落地中，我们常常发现，即使是最顶尖的单一模型，也难以完美应对所有复杂场景的需求。

5/21/2025 4:27:00 PM

贝塔街的万事屋

无问芯穹提出混合稀疏注意力方案MoA，加速长文本生成，实现最高8倍吞吐率提升

随着大语言模型在长文本场景下的需求不断涌现，其核心的注意力机制（Attention Mechanism）也获得了非常多的关注。注意力机制会计算一定跨度内输入文本（令牌，Token）之间的交互，从而实现对上下文的理解。随着应用的发展，高效处理更长输入的需求也随之增长 [1][2]，这带来了计算代价的挑战：注意力高昂的计算成本和不断增长的键值缓存（KV-Cache）代价。

11/8/2024 1:12:00 PM

机器之心

资讯热榜

全新开源的DeepSeek-OCR，可能是最近最惊喜的模型！ AI 模型“炒股”比拼!DeepSeek 收益超14%，Gemini2.5Pro 惨亏四成具身智能学界业界思想「惊人的统一」？美团在IROS开了个学术年会刚刚，ChatGPT终于可以走遍整个互联网了！OpenAI深夜炸街：原生ChatGPT集成、即时理解、主动执行，浏览器赛道鲨疯了告别抽卡！Vidu Q2多图参考生视频功能重磅上线最强OCR竟然不是DeepSeek、Paddle！HuggingFace新作：六大顶尖开源OCR模型横评！继DS后又杀出匹黑马！ OpenAI首款ChatGPT浏览器发布！现在就能免费下载使用通义千问再放大招！Qwen3-VL 家族新增 2B 与 32B 模型，开源矩阵全面升级

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画机器人数据大模型 Midjourney 开源 Meta 智能微软用户 AI新词 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法芯片 AI for Science 腾讯 Stable Diffusion 苹果 Agent Claude 蛋白质开发者生成式神经网络 xAI 机器学习 3D 人形机器人研究 AI视频生成 RAG 大语言模型百度具身智能 Sora 工具 GPU 华为计算字节跳动 AI设计搜索大型语言模型 AGI 视频生成场景深度学习 DeepMind 架构视觉编程生成式AI 预测 Transformer AI模型伟达特斯拉 Copilot