Agent Attention

Softmax注意力与线性注意力的优雅融合，Agent Attention推动注意力新升级

来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention)。近年来，视觉 Transformer 模型得到了极大的发展，相关工作在分类、分割、检测等视觉任务上都取得了很好的效果。然而，将 Transformer 模型应用于视觉领域并不是一件简单的事情。与自然语言不同，视觉图片中的特征数量更多。由于 Softmax 注意力是平方复杂度，直接进行全局自注意力的计算往往会带来过高的计算量。针对这一问题，先前的工作通常通过减少参与自注意力计算的特征数量的方法来降低计算量。例如，设计稀疏注

12/25/2023 3:42:00 PM

LEAPLab

资讯热榜

LangChain V1.0 深度解析：手把手带你跑通全新智能体架构 OpenAI 宣布印度用户可享受一年免费 ChatGPT Go 服务 DeepSeek-OCR：OCR 的新突破 Soul App开源播客语音合成模型，可流畅自然多轮语音对话，支持川粤豫等多方言与副语言风格红杉资本注资Rogo Technologies，AI 工具或将颠覆初级银行家角色 Anthropic 推出新功能，Claude 为金融分析师提供强大工具地理学的AlphaEvolve？MIT斯坦福让AI自我生长、懂地理、懂世界深度伪造技术再现乱象，OpenAI 新工具 Sora 引发关注

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画大模型机器人数据 Midjourney 开源 Meta 微软智能 AI新词用户 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法 Agent AI for Science 芯片苹果腾讯 Claude Stable Diffusion 蛋白质开发者生成式神经网络 xAI 机器学习 3D RAG 人形机器人研究 AI视频大语言模型生成具身智能 Sora 工具 GPU 百度华为计算字节跳动 AI设计 AGI 大型语言模型搜索视频生成场景深度学习架构生成式AI DeepMind 编程视觉 Transformer 预测 AI模型 MCP 伟达亚马逊