APB 框架

在长文本上比Flash Attention快10倍！清华等提出APB序列并行推理框架

在 ChatGPT 爆火两年多的时间里，大语言模型的上下文窗口长度基准线被拉升，以此为基础所构建的长 CoT 推理、多 Agent 协作等类型的高级应用也逐渐增多。随之而来的是，长文本推理速度被提出更高要求，而基于现有 Transformer 架构的模型受限于注意力机制的二次方复杂度，难以在较短时延内处理超长文本请求。针对这一痛点，清华大学 NLP 实验室联手中南大学、北京邮电大学以及腾讯微信 AI 实验室取得了突破，共同提出了 APB 框架 —— 其核心是一个整合了稀疏注意力机制的序列并行推理框架，通过整合局部 KV 缓存压缩方式以及精简的跨 GPU 通信机制，解决了长上下文远距离语义依赖问题，在无性能损失的前提下大幅度提升超长文本预填充的效率。

3/12/2025 10:31:00 AM

机器之心

资讯热榜

Lovart震撼发布：全球首个设计Agent，一键从创意到成品全球首个设计Agent Lovart席卷全球，颠覆性功能与幕后团队揭秘全球首款设计Agent Lovart内测！一句话搞定Logo、视频、品牌全套一文搞懂人工智能中的MCP原理：从概念到应用的全面解析苹果发布FastVLM模型，可在iPhone上运行的极速视觉语言模型清华系创业团队“灵御智能”融资千万，聚焦人机混合智能国产大模型「五强争霸」，决战AGI！淘宝推出桌面版客户端支持 AI 购物功能

标签云

人工智能 AI OpenAI AIGC ChatGPT DeepSeek AI绘画模型数据机器人谷歌大模型 Midjourney 智能用户开源微软学习 GPT Meta 图像 AI创作技术 Gemini 论文马斯克 Stable Diffusion 算法芯片代码生成式蛋白质英伟达腾讯神经网络研究 Anthropic 开发者 3D 计算 Sora 机器学习 AI设计 AI for Science GPU AI视频苹果场景华为百度人形机器人预测搜索 Claude 伟达训练深度学习生成 xAI Transformer 大语言模型字节跳动模态具身智能文本驾驶智能体神器推荐 Copilot LLaMA 视觉算力安全应用视频生成干货合集 API 大型语言模型亚马逊科技