APB 框架
在长文本上比Flash Attention快10倍!清华等提出APB序列并行推理框架
在 ChatGPT 爆火两年多的时间里,大语言模型的上下文窗口长度基准线被拉升,以此为基础所构建的长 CoT 推理、多 Agent 协作等类型的高级应用也逐渐增多。 随之而来的是,长文本推理速度被提出更高要求,而基于现有 Transformer 架构的模型受限于注意力机制的二次方复杂度,难以在较短时延内处理超长文本请求。 针对这一痛点,清华大学 NLP 实验室联手中南大学、北京邮电大学以及腾讯微信 AI 实验室取得了突破,共同提出了 APB 框架 —— 其核心是一个整合了稀疏注意力机制的序列并行推理框架,通过整合局部 KV 缓存压缩方式以及精简的跨 GPU 通信机制,解决了长上下文远距离语义依赖问题,在无性能损失的前提下大幅度提升超长文本预填充的效率。
3/12/2025 10:31:00 AM
机器之心
- 1
资讯热榜
月之暗面 Kimi K2 发布并开源,擅长代码与 Agentic 任务
ChatGPT 商业推荐被曝引用不可靠信息来源,专家提醒用户勿盲目信任
谷歌 Gemini 待发布新技能曝光:AI 帮你生成插画故事书
OpenAI 筹划进军硬件市场,CEO 奥尔特曼曾称 AI 革命不一定需要新硬件
ChatGPT 又遇“奶奶漏洞”,网友成功让 GPT-4o 主动生成“Win7 密钥”
资讯/神器/素材全都有!2025年6月设计素材周刊第四波
微软发布 Phi-4-mini-flash-reasoning 端侧 AI 模型:10 倍吞吐量,推理能力升级
ChatGPT 推出“一起学习”功能:不直接给答案,引导用户自主思考
标签云
人工智能
AI
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
数据
机器人
大模型
Midjourney
用户
智能
开源
微软
Meta
GPT
学习
图像
技术
Gemini
AI创作
马斯克
论文
Anthropic
代码
英伟达
算法
Stable Diffusion
智能体
训练
芯片
开发者
蛋白质
生成式
腾讯
苹果
AI新词
神经网络
3D
Claude
研究
LLM
生成
机器学习
计算
Sora
AI for Science
人形机器人
AI视频
xAI
AI设计
GPU
华为
百度
搜索
大语言模型
Agent
场景
字节跳动
预测
深度学习
伟达
大型语言模型
工具
Transformer
视觉
RAG
神器推荐
具身智能
亚马逊
Copilot
模态
AGI
LLaMA
文本
算力
驾驶