Differential Transformer

这篇论文非常火！差分Transformer竟能消除注意力噪声，犹如降噪耳机

Transformer 的强大实力已经在诸多大型语言模型（LLM）上得到了证明，但该架构远非完美，也有很多研究者致力于改进这一架构，比如AI在线曾报道过的 Reformer 和 Infini-Transformer。今天我们又将介绍另一种新型 Transformer 架构：Differential Transformer（差分 Transformer，简称 Diff Transformer）。该架构来自微软研究院和清华大学，有四位共一作者：Tianzhu Ye、Li Dong、Yuqing Xia、Yutao Su

10/9/2024 2:23:00 PM

机器之心

资讯热榜

OpenAI 开源模型被 Meta 研究员“逆改”！只动0.3%参数，gpt-oss-20B 解锁无约束基座奥特曼：我承认GPT-5发布搞砸了首个面向肽分子设计的大模型平台：直接「读序列」出结合子，无需结构输入即可生成阿里千问踢馆子了！Qwen3新作秒杀ChatGPT，侧脸杀切换第一人称视角，表情包绝绝子，小编：再也不用美图秀秀去水印了深度揭秘OpenAI如何让GPT-5「技术性」超越Claude：悄悄跳过最难的23道题摩根士丹利：AI 革命将为标准普尔 500 指数企业每年节省近 1 万亿美元网易有道发布子曰教育大模型多款AI新品，定义教育AI应用能力L1-L5分级小红书发布DynamicFace人脸生成技术，实现高质量图像视频人脸融合

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体论文 Anthropic 英伟达代码训练算法 Stable Diffusion 芯片 AI新词 LLM 蛋白质腾讯开发者生成式 Claude 苹果 Agent AI for Science 神经网络 3D 机器学习研究生成 xAI 人形机器人 AI视频计算 Sora 百度 GPU AI设计华为工具大语言模型搜索具身智能 RAG 字节跳动大型语言模型场景深度学习预测伟达视觉 Transformer 视频生成 AGI 架构神器推荐亚马逊 Copilot DeepMind 应用特斯拉