AI在线 AI在线

AI

Transformer 模型结构详解及代码实现!

Transformer 模型结构详解及代码实现!
一、Transformer简要发展史以下是Transformer模型发展历史中的关键节点：Transformer架构于2017年6月推出。 原本研究的重点是翻译任务。 随后推出了几个有影响力的模型，包括：时间模型简要说明2017 年 6 月「Transformer」Google 首次提出基于 Attention 的模型，用于机器翻译任务2018 年 6 月「GPT」第一个使用 Transformer 解码器模块进行预训练的语言模型，适用于多种 NLP 任务2018 年 10 月「BERT」使用 Transformer 编码器模块，通过掩码语言建模生成更强大的句子表示2019 年 2 月「GPT-2」更大更强的 GPT 版本，由于潜在风险未立即发布，具备出色的文本生成能力2019 年 10 月「DistilBERT」BERT 的轻量化版本，在保留 97% 性能的同时，速度更快、内存占用更低2019 年 10 月「BART、T5」使用完整的 Encoder-Decoder 架构，在各种 NLP 任务中表现优异2020 年 5 月「GPT-3」超大规模语言模型，支持“零样本学习”，无需微调即可完成新任务这个列表并不全面，只是为了突出一些不同类型的 Transformer 模型。
5/20/2025 8:15:00 AM
郭小喵玩AI
理解 RAG 第九部分：针对 RAG 微调 LLM

理解 RAG 第九部分：针对 RAG 微调 LLM
在“理解 RAG”系列的前几篇文章中，我们重点探讨了检索增强生成的各个方面。 文章中，我们重点介绍了与大型语言模型 (LLM) 集成的检索器组件，该组件用于检索有意义且真实的上下文知识，从而提升 LLM 输入的质量，并最终提升其生成的输出响应。 具体来说，我们学习了如何管理传递给 LLM 的上下文长度、如何优化检索，以及如何利用向量数据库和索引策略来有效地检索知识。
5/20/2025 6:00:00 AM
晓晓
微软推出 Microsoft 365 Copilot Tuning，企业可用自己的数据训练 AI 模型

微软推出 Microsoft 365 Copilot Tuning，企业可用自己的数据训练 AI 模型
微软在Build大会上宣布推出Microsoft 365 Copilot Tuning，企业可利用自身数据微调AI模型，提升特定任务表现。同时，Copilot Studio的多智能体协作功能进入公开预览，支持跨部门协同工作。#微软Build大会#
5/20/2025 1:07:37 AM
远洋
微软应用商店迎大变革：取消个人开发者注册费、显示应用上次更新时间、支持 Win32 应用直接更新

微软应用商店迎大变革：取消个人开发者注册费、显示应用上次更新时间、支持 Win32 应用直接更新
微软宣布取消个人开发者注册费，并新增应用更新时间显示、Win32应用直接更新等功能。微软应用商店目前拥有2.5亿月活跃用户，热门应用如Notion即将上线。#微软应用商店#
5/20/2025 12:35:27 AM
远洋
微软 GitHub 推出 AI 编程智能体，可自动修复漏洞和优化代码

微软 GitHub 推出 AI 编程智能体，可自动修复漏洞和优化代码
GitHub在微软Build大会上宣布推出AI编程智能体，集成在GitHub Copilot中，可自动修复漏洞、添加功能和优化文档。该工具已向Copilot企业版和Plus用户开放。#AI编程# #GitHubCopilot#
5/20/2025 12:23:51 AM
远洋
微软 Edge 浏览器将开放设备端 AI 功能，助力 Web 开发者提升应用体验

微软 Edge 浏览器将开放设备端 AI 功能，助力 Web 开发者提升应用体验
微软在Build 2025大会上宣布，Edge浏览器将支持设备端AI模型Phi-4-mini，开发者可通过新API将其集成到Web应用中，提供文本生成、总结等功能。目前已在Edge Canary和Dev频道开放试用。#微软Build2025# #Edge浏览器#
5/20/2025 12:17:08 AM
远洋
微软推出 Windows AI Foundry：用于本地人工智能开发的统一平台

微软推出 Windows AI Foundry：用于本地人工智能开发的统一平台
在 Build 2025 开发者大会上，微软宣布了一系列针对 Windows 平台的 AI 开发新工具与功能，其中包括 Windows AI Foundry 的推出，这一全新的统一平台旨在为本地 AI 开发提供强大的支持，整合了 Windows Copilot Runtime 以及多项新能力，进一步推动 Windows 生态内的 AI 应用发展。
5/20/2025 12:09:46 AM
远洋
从代码助手到工程伙伴：Windsurf 的 SWE-1 开启 AI 辅助开发新范式

从代码助手到工程伙伴：Windsurf 的 SWE-1 开启 AI 辅助开发新范式
译者 | 刘汪洋审校 | 重楼如今，在许多 Vibe Coding 平台通常会借助现有的大型语言模型 (LLMs) 来辅助编写代码。 不过，写代码仅仅是开发人员日常工作的一小部分。 要想构建一个完善的企业级生产平台，还得用上各种工具来审查代码、提交代码，并进行长期的维护。
5/20/2025 12:08:00 AM
刘汪洋
高通重返数据中心市场，瞄准 AI 时代低功耗高效能产品

高通重返数据中心市场，瞄准 AI 时代低功耗高效能产品
在 Computex 大会上，高通 CEO 克里斯蒂亚诺・阿蒙（Cristiano Amon）宣布，该公司正积极准备进军数据中心市场，并将在不久的将来推出相关产品。 阿蒙在演讲的最后一刻透露，高通将在数据中心领域发布一些独特且具颠覆性的技术，这是高通重返该市场的原因之一。 值得注意的是，高通在2018年因未能成功推出基于 Arm 架构的服务器而退出了数据中心市场。
5/19/2025 6:00:55 PM
AI在线
​抖音启动 “AI 起号” 专项整治行动，清理低俗内容

​抖音启动 “AI 起号” 专项整治行动，清理低俗内容
抖音官方发布公告，宣布启动 “AI 起号” 专项治理行动，旨在整治平台内利用人工智能生成低俗猎奇视频等行为。 随着人工智能技术的快速发展，抖音发现一些用户利用 AI 进行造假、售卖虚拟账号等行为，这严重影响了平台的生态环境。 此次专项治理行动的重点包括:利用 AI 生成低质视频、虚拟幼儿教育专家的育儿内容、AI 视频账号的售卖教程以及 AI 账号的传授秘籍。
5/19/2025 6:00:55 PM
AI在线
NVIDIA全新GeForce GPU震撼亮相！黄仁勋：AI与模拟交织，极致美感颠覆游戏与创作！

NVIDIA全新GeForce GPU震撼亮相！黄仁勋：AI与模拟交织，极致美感颠覆游戏与创作！
NVIDIA在台北COMPUTEX2025大会上正式发布全新GeForce GPU系列，引发全球科技圈热议。 NVIDIA首席执行官黄仁勋在主题演讲中表示:“你在这里看到的都不是艺术，只是恰好很美而已”，强调新GPU通过人工智能与实时模拟的融合，为游戏玩家、内容创作者和AI开发者带来前所未有的视觉与性能体验。 AIbase综合最新动态，深入解析这一突破性发布的技术亮点及其对AI与游戏生态的深远影响。
5/19/2025 6:00:55 PM
AI在线
微软推动AI代理跨公司协作，引入新标准协议

微软推动AI代理跨公司协作，引入新标准协议
在即将举行的微软年度开发者大会前夕，微软的首席技术官凯文・斯科特（Kevin Scott）透露了一个激动人心的愿景:未来不同公司的人工智能(AI)代理能够实现无缝协作，并更好地记住彼此之间的互动。 斯科特在华盛顿州雷德蒙德的微软总部表示，微软致力于推动行业标准的建立，以使各个制造商的 AI 代理能够相互配合。 微软将支持一种名为模型上下文协议（Model Context Protocol，MCP）的标准化通信协议。
5/19/2025 6:00:55 PM
AI在线
Poe2025春季AI模型使用趋势报告：OpenAI与Anthropic双雄争霸 可灵异军突起

Poe2025春季AI模型使用趋势报告：OpenAI与Anthropic双雄争霸 可灵异军突起
全球知名AI模型集成平台Poe发布《2025春季AI模型使用趋势报告》，基于平台上数百万次用户交互，深入分析了文本、图像、视频、音频和推理模型的需求与使用份额变化。 报告揭示了今年以来OpenAI GPT-4.1、Google Gemini2.5Pro、Kuaishou Kling等突破性模型的快速崛起，以及AI使用模式的深刻转变。 AIbase综合最新动态，独家解读这一报告的核心亮点及其对AI生态的深远影响。
5/19/2025 5:00:45 PM
AI在线
​Google搜索推出AI Mode实验，探索全新智能问答体验

​Google搜索推出AI Mode实验，探索全新智能问答体验
近日，Google 在其搜索引擎中推出了一项名为 “AI Mode” 的实验。 这项新功能旨在为用户提供更智能的问答体验，用户可以通过文本、语音或图像提问，AI 将根据海量的网络信息为用户提供有用的回答。 AI Mode不仅能够帮助用户获取信息，还能根据提问者的后续问题进行深入探索，甚至提供相关的网页链接，帮助用户更全面地理解所查询的内容。
5/19/2025 4:00:45 PM
AI在线
AI生成视频总不符合物理规律？匹兹堡大学团队新作PhyT2V：不重训练模型也能让物理真实度狂飙2.3倍！

AI生成视频总不符合物理规律？匹兹堡大学团队新作PhyT2V：不重训练模型也能让物理真实度狂飙2.3倍！
本文由匹兹堡大学智能系统实验室（Intelligent Systems Laboratory）的研究团队完成。 第一作者为匹兹堡大学的一年级博士生薛琪耀。 当前文本生成视频（T2V）技术正在从注重视觉质量与模型规模的扩展阶段，迈向更关注物理一致性与现实合理性的推理驱动阶段。
5/19/2025 3:00:38 PM
谷歌NotebookLM即将推出Sparks视频概览 Gemini与Deep Research加持，可生成1-3分钟AI视频

谷歌NotebookLM即将推出Sparks视频概览 Gemini与Deep Research加持，可生成1-3分钟AI视频
2025年5月，谷歌旗下研究工具NotebookLM迎来重大更新，计划推出名为“Sparks”（火花）的1-3分钟视频概览功能，其中10%内容由AI生成。 这一创新将进一步整合Gemini2.5 chatbot和Deep Research报告功能，为用户提供从文档到短视频的智能化内容创作体验。 AIbase综合最新社交媒体动态，深入解析“火花”视频概览的技术亮点及其对AI内容生成领域的深远影响。
5/19/2025 3:00:29 PM
AI在线
全新GPU高速互联设计，为大模型训练降本增效！北大/阶跃/曦智提出新一代高带宽域架构

全新GPU高速互联设计，为大模型训练降本增效！北大/阶跃/曦智提出新一代高带宽域架构
随着大模型的参数规模不断扩大，分布式训练已成为人工智能发展的中心技术路径。 如此一来，高带宽域的设计对提升大模型训练效率至关重要。 然而，现有的HBD架构在可扩展性、成本和容错能力等方面存在根本性限制：以交换机为中心的HBD（如NVIDIA NVL-72）成本高昂、不易扩展规模；以GPU为中心的HBD（如 Google TPUv3和Tesla Dojo）存在严重的故障传播问题；TPUv4等交换机-GPU混合HBD采用折中方案，但在成本和容错方面仍然不甚理想。
5/19/2025 2:57:44 PM
三金，又是中国队！全球机器人视触融合挑战赛揭榜

三金，又是中国队！全球机器人视触融合挑战赛揭榜
今天，机器人和自动化领域的全球顶级会议ICRA 2025在亚特兰大正式拉开帷幕。 不久前，机器人领域的顶级赛事——ManiSkill-ViTac 2025也公布了获奖团队名单。 5月23日，ManiSkill-ViTac 2025的成果将在ICRA 2025第六届ViTac国际研讨会中集中汇报。
5/19/2025 2:55:41 PM