Differential Transformer

这篇论文非常火！差分Transformer竟能消除注意力噪声，犹如降噪耳机

Transformer 的强大实力已经在诸多大型语言模型（LLM）上得到了证明，但该架构远非完美，也有很多研究者致力于改进这一架构，比如AI在线曾报道过的 Reformer 和 Infini-Transformer。今天我们又将介绍另一种新型 Transformer 架构：Differential Transformer（差分 Transformer，简称 Diff Transformer）。该架构来自微软研究院和清华大学，有四位共一作者：Tianzhu Ye、Li Dong、Yuqing Xia、Yutao Su

10/9/2024 2:23:00 PM

机器之心

资讯热榜

Perplexity Labs上线，多工具协同、化繁为简 BFL 推出 FLUX.1 Kontex 模型套件，AI 生图速度比主流竞争对手快一个数量级基于Gemini与Qdrant构建生产级RAG管道：设计指南与代码实践 NUS 推出 OmniConsistency：低成本实现图像风格化一致性，挑战 GPT-4o！ Hume AI重磅发布EVI 3：懂你情绪的语音AI，比GPT-4o还快！我国水利标准 AI 大模型正式发布，采用海量知识库 + DeepSeek / Qwen 双模型百度 AI 搜索宣布全面接入 DeepSeek R1 最新版，推理能力更强全流程昇腾平台训练，华为推出准万亿参数盘古 Ultra MoE 模型

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画数据谷歌机器人大模型 Midjourney 用户智能开源微软 GPT 学习 Meta 图像技术 AI创作 Gemini 论文马斯克 Stable Diffusion 算法代码英伟达 Anthropic 芯片生成式蛋白质开发者腾讯神经网络研究 3D 生成计算 Sora 训练机器学习苹果智能体 AI设计 AI for Science Claude GPU AI视频人形机器人华为搜索场景百度 xAI 预测大语言模型伟达深度学习 Transformer 字节跳动 Agent 模态具身智能神器推荐 LLaMA 文本视觉 Copilot 算力工具驾驶 API 应用大型语言模型 LLM RAG 亚马逊