架构
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
相邻的 KV 缓存将合并为一个。 在生成第一个字符时，KV 缓存长度为 1；生成第二个字符后，新生成的 KV 与前一个被合并，KV 缓存长度仍然保持为 1。 这种动态合并机制有效压缩了时间维度上的冗余信息。
6/11/2025 9:15:51 AM
20人团队提前实现DeepSeek构想，AI算力变天？直击大模型算力成本痛点
如果有一种芯片，天生只为大模型而生，能否突破当前AI的算力瓶颈？ 要知道，如今的芯片算力，强依赖于制程、工艺等非芯片设计因素。 这是因为，传统通用型的GPGPU计算架构在应对日益庞大的模型和复杂计算时，其硬件固有的局限性日益凸显。
6/11/2025 9:06:00 AM
我们一起聊聊聊聊智能体的基础架构
2023年下半年，智能体这个概念开始随着AI的突进式发展而被很多人关注起来。 到了2024年，大模型的能力进一步增强，为智能体快速发展提供了底层能力支撑。 随着2025年DeepSeek的爆火，智能体在各行各业的落地应用案例开始明显增加。
6/10/2025 3:00:00 AM
写文章的老张
“一代更比一代强”：现代 RAG 架构的演进之路
基于 RAG（检索增强生成）的 AI 系统，过去是，现在仍然是企业利用大语言模型（LLM）的最有价值的应用之一。 我记得差不多两年前我写了第一篇关于 RAG 的文章，那时候这个术语还未被广泛采用。 我当时描述的是一个以最基础方式实现的 RAG 系统。
6/6/2025 1:15:00 AM
Baihai IDP
构建生产级LLM应用完整指南：从原型到落地的全流程实践
一、LLM应用落地的真实挑战当Jasper AI的写作助手因意外流量在数小时内崩溃时，人们意识到：让LLM应用从实验室走向真实用户，绝非简单的代码迁移。 根据Anthropic 2024年开发者调查，73%的LLM应用在触达用户前折戟沉沙，问题并非出在AI模型本身，而是支撑系统无法应对真实世界的复杂性——用户的不可预测输入、API的偶发故障、成本的突然飙升，这些都是原型阶段未曾遭遇的“暗礁”。 本文将以实战为导向，结合代码示例与架构设计，详解如何将一个基于OpenAI API的简单聊天机器人，升级为具备容错能力、成本可控且可弹性扩展的生产级系统。
6/5/2025 2:45:00 AM
大模型之路
LangGPT：让人人都能写出大师级Prompt，从此告别“灵感枯竭症”！
一、什么是 LangGPT？ Prompt的编程语言来了！ 你见过这样的尴尬场面吗：苦苦啃Prompt文档一年，还没搞明白ChatGPT到底要怎么“聆听人言”？
6/4/2025 11:09:02 AM
许泽宇
Fellou AI 浏览器 2.0来了！架构重大更新！很快取消邀请码机制！生产级复杂任务成功率超80%
作者 | 谢扬在漫威电影宇宙中，Jarvis 是钢铁侠托尼·斯塔克的私人人工智能助手，几乎无处不在，随时随地为托尼提供支持和帮助。 Jarvis 不仅仅是一个简单的语音助手，它深入融入了托尼的生活，管理他的日常事务，控制他的高科技设备，甚至在战斗中提供实时的战术建议。 Jarvis 的存在让托尼能够专注于更重要的事情，因为他知道有一个可靠的助手在背后支持他。
6/4/2025 10:06:59 AM
谢扬
AI 时代下设计模式的逆袭：为何经典架构思想从未过时？
一、设计模式的“前世今生”：从被忽视到重新审视在软件开发的漫长历程中，设计模式曾经历过备受追捧、过度使用，乃至被部分开发者束之高阁的阶段。 20世纪90年代，《设计模式：可复用面向对象软件的基础》一书的问世，如同在软件开发领域投下一颗重磅炸弹。 抽象工厂、装饰器等模式成为开发者们热议的话题，它们为解决常见问题提供了标准化的方案，建立了一套通用的技术语言，让开发者无需每次都从零开始构思解决方案。
6/4/2025 2:00:05 AM
大模型之路
构建强大AI Agent的关键 = Pydantic AI + MCP + Advanced Web Scraping
引言在文中，我将展示一个超快速教程，教你如何使用 Pydantic AI、MCP 和高级网页抓取技术，构建一个强大的智能聊天机器人，适用于商业或个人用途。 MCP 逐渐被接受，因为它是一个开放标准。 我制作了一些非常酷的视频，你一定会喜欢。
6/3/2025 1:04:00 AM
AI研究生
硬核分享！构建单智能体已经Out了！大佬分享：架构设计如何推动可靠的多智能体编排
作者 | Nikhil Gupta，Atlassian AI产品管理负责人编译 | 云昭出品 | 51CTO技术栈（微信号：blog51cto）时至今日，如果再提如何构建一个Agent，肯定已经过时了。 打造一个超级智能的单一模型已经不再是2025年的主旋律。 而真正的力量和令人兴奋的新领域，是让多个专业化的AI智能体协同运转起来。
5/28/2025 6:04:20 PM
云昭
Claude 4一战封神！找出6万行架构级重构的白鲸bug! 前大厂开发者自述：四年投入了200个小时没发现，别的模型都没做到！
出品 | 51CTO技术栈（微信号：blog51cto）今天，一篇Reddit上的帖子走红了，光看题目就很有料：Claude Opus 帮我解决了一个我四年来都找不到的“白鲸级 bug”图片发帖人是一位有 30 年经验的前 FAANG C 工程师，是团队里负责给bug清场的大佬级角色。 但这一次，他坦言被 Claude Opus “彻底震撼了”。 这个 Bug 有多棘手？
5/27/2025 7:08:26 PM
伊风
腾讯混元 TurboS 技术报告全面揭秘，560B参数混合Mamba架构
腾讯发布了混元 TurboS 技术报告，揭示了其旗舰大语言模型 TurboS 的核心创新与强大能力。 根据全球权威大模型评测平台 Chatbot Arena 的最新排名，混元 TurboS 在239个参赛模型中位列第七，成为国内仅次于 Deepseek 的顶尖模型，并在国际上仅落后于谷歌、OpenAI 及 xAI 等几家机构。 混元 TurboS 模型的架构采用了创新的 Hybrid Transformer-Mamba 结构，这种新颖的设计结合了 Mamba 架构在处理长序列上的高效性与 Transformer 架构在上下文理解上的优势，从而实现了性能与效率的平衡。
5/22/2025 5:00:55 PM
AI在线
字节提出从单一主题发展到多主题定制的通用框架UNO，通过情境生成释放更多可控性
字节跳动的智能创作团队提出了一个从单一主题发展到多主题定制的通用框架UNO，从少到多的泛化：通过情境生成释放更多可控性。 能够将不同的任务统一在一个模型下。 在单主题和多主题驱动的生成中都能实现高度一致性，同时确保可控性。
5/20/2025 9:13:45 AM
AIGC Studio
Transformer 模型结构详解及代码实现!
一、Transformer简要发展史以下是Transformer模型发展历史中的关键节点：Transformer架构于2017年6月推出。 原本研究的重点是翻译任务。 随后推出了几个有影响力的模型，包括：时间模型简要说明2017 年 6 月「Transformer」Google 首次提出基于 Attention 的模型，用于机器翻译任务2018 年 6 月「GPT」第一个使用 Transformer 解码器模块进行预训练的语言模型，适用于多种 NLP 任务2018 年 10 月「BERT」使用 Transformer 编码器模块，通过掩码语言建模生成更强大的句子表示2019 年 2 月「GPT-2」更大更强的 GPT 版本，由于潜在风险未立即发布，具备出色的文本生成能力2019 年 10 月「DistilBERT」BERT 的轻量化版本，在保留 97% 性能的同时，速度更快、内存占用更低2019 年 10 月「BART、T5」使用完整的 Encoder-Decoder 架构，在各种 NLP 任务中表现优异2020 年 5 月「GPT-3」超大规模语言模型，支持“零样本学习”，无需微调即可完成新任务这个列表并不全面，只是为了突出一些不同类型的 Transformer 模型。
5/20/2025 8:15:00 AM
郭小喵玩AI
全新GPU高速互联设计，为大模型训练降本增效！北大/阶跃/曦智提出新一代高带宽域架构
随着大模型的参数规模不断扩大，分布式训练已成为人工智能发展的中心技术路径。 如此一来，高带宽域的设计对提升大模型训练效率至关重要。 然而，现有的HBD架构在可扩展性、成本和容错能力等方面存在根本性限制：以交换机为中心的HBD（如NVIDIA NVL-72）成本高昂、不易扩展规模；以GPU为中心的HBD（如 Google TPUv3和Tesla Dojo）存在严重的故障传播问题；TPUv4等交换机-GPU混合HBD采用折中方案，但在成本和容错方面仍然不甚理想。
5/19/2025 2:57:44 PM
RAG架构综述：探寻最适配RAG方案
RAG技术通过整合外部知识源检索与模型生成能力，使语言模型能够基于真实世界的信息生成更准确、可靠的回答。 如今，RAG技术不断演进，衍生出了多种各具特色的架构类型，每种都针对特定场景和需求进行了优化。 深入了解这些不同类型的RAG架构，对于开发者、数据科学家以及AI爱好者而言至关重要，能够帮助他们在项目中做出更合适的技术选型，充分发挥RAG的优势。
5/19/2025 8:26:37 AM
大模型之路
DeepSeek-V3 发布新论文，揭示低成本大模型训练的奥秘
近日，DeepSeek 团队发布了关于其最新模型 DeepSeek-V3的一篇技术论文，重点讨论了在大规模人工智能模型训练中遇到的 “扩展挑战” 以及与硬件架构相关的思考。 这篇长达14页的论文不仅总结了 DeepSeek 在开发 V3过程中的经验与教训，还为未来的硬件设计提供了深刻的见解。 值得注意的是，DeepSeek 的 CEO 梁文锋也参与了论文的撰写。
5/16/2025 9:00:55 AM
AI在线
ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
Mixture-of-Experts（MoE）在推理时仅激活每个 token 所需的一小部分专家，凭借其稀疏激活的特点，已成为当前 LLM 中的主流架构。 然而，MoE 虽然显著降低了推理时的计算量，但整体参数规模依然大于同等性能的 Dense 模型，因此在显存资源极为受限的端侧部署场景中，仍然面临较大挑战。 现有的主流解决方案是专家卸载（Expert Offloading），即将专家模块存储在下层存储设备（如 CPU 内存甚至磁盘）中，在推理时按需加载激活的专家到显存进行计算。
5/7/2025 1:49:19 PM
机器之心
资讯热榜
苹果发布全新Xcode 26开发者工具：内置ChatGPT先进AI功能
Microsoft Releases 700 Real AI Cases to Explore New Intelligent Work Models
微软发布 700 个真实 AI 案例，探索智能化工作新模式
豆包App“一句话P图”功能全新升级 基于SeedEdit 3.0实现全面优化
Li Hang, head of ByteDance AI Lab, resigns; Seed team enters adjustment period
DeepSeek前高管秘密创业，新AI Agent项目已获顶级VC押注
苹果向开发者开放本地AI能力，推出全新Foundation Models框架
支持MCP！开源智能体开发框架 Rowboat：打造你的智能助手只需几分钟
标签云
人工智能
AI
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
数据
机器人
大模型
Midjourney
用户
智能
开源
微软
GPT
Meta
学习
图像
技术
AI创作
Gemini
论文
马斯克
Stable Diffusion
算法
英伟达
代码
Anthropic
芯片
开发者
生成式
蛋白质
腾讯
神经网络
训练
3D
研究
生成
智能体
苹果
计算
机器学习
Sora
Claude
AI设计
AI for Science
GPU
AI视频
人形机器人
搜索
华为
百度
场景
大语言模型
xAI
预测
伟达
深度学习
LLM
字节跳动
Transformer
Agent
模态
具身智能
神器推荐
工具
文本
视觉
LLaMA
算力
Copilot
驾驶
大型语言模型
API
RAG
应用
架构