注意力机制

信我，有你想要的！最大化DeepSeek潜能：动态注意力机制

deepseek原理应用实践，和大家分享：小众的，deepseek核心技术原理；大众的，提示词要怎么写；今天和大家聊聊，deepseek的核心技术之一的动态注意力机制。要搞懂这个，先得知道什么是注意力机制？这是一种通过计算…查询向量(Query)…键向量(Key)…值向量(Value)…，最终得到...的技术。

2/14/2025 11:22:34 AM

58沈剑

被忽略的起点？Karpathy揭秘最初的注意力论文被Transformer光芒掩盖的故事

几个小时前，著名 AI 研究者、OpenAI 创始成员之一 Andrej Karpathy 发布了一篇备受关注的长推文，其中分享了注意力机制背后一些或许少有人知的故事。其中最值得注意的一个故事是真正首次提出注意力机制的论文其实是 Dzmitry Bahdanau、Kyunghyun Cho 和 Yoshua Bengio 的《Neural Machine Translation by Jointly Learning to Align and Translate》，这比《Attention is All you Need》还早 3 年，但很显然，这篇论文并没有收获后者那般的关注。 Karpathy 长推文的不完整截图实际上，这个故事来自 Dzmitry Bahdanau 发给 Karpathy 的一封邮件。

12/4/2024 3:51:00 PM

机器之心

资讯热榜

苹果发布全新Xcode 26开发者工具：内置ChatGPT先进AI功能 Microsoft Releases 700 Real AI Cases to Explore New Intelligent Work Models 微软发布 700 个真实 AI 案例，探索智能化工作新模式豆包App“一句话P图”功能全新升级基于SeedEdit 3.0实现全面优化 Li Hang, head of ByteDance AI Lab, resigns; Seed team enters adjustment period DeepSeek前高管秘密创业，新AI Agent项目已获顶级VC押注苹果向开发者开放本地AI能力，推出全新Foundation Models框架支持MCP！开源智能体开发框架 Rowboat：打造你的智能助手只需几分钟

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌数据机器人大模型 Midjourney 用户智能开源微软 GPT Meta 学习图像技术 AI创作 Gemini 论文马斯克 Stable Diffusion 算法英伟达代码 Anthropic 芯片开发者生成式蛋白质腾讯神经网络训练 3D 研究生成智能体苹果计算机器学习 Sora Claude AI设计 AI for Science GPU AI视频人形机器人搜索华为百度场景大语言模型 xAI 预测伟达深度学习 LLM 字节跳动 Transformer Agent 模态具身智能神器推荐工具文本视觉 LLaMA 算力 Copilot 驾驶大型语言模型 API RAG 应用架构