AI在线 AI在线

架构

全新GPU高速互联设计，为大模型训练降本增效！北大/阶跃/曦智提出新一代高带宽域架构

全新GPU高速互联设计，为大模型训练降本增效！北大/阶跃/曦智提出新一代高带宽域架构
随着大模型的参数规模不断扩大，分布式训练已成为人工智能发展的中心技术路径。 如此一来，高带宽域的设计对提升大模型训练效率至关重要。 然而，现有的HBD架构在可扩展性、成本和容错能力等方面存在根本性限制：以交换机为中心的HBD（如NVIDIA NVL-72）成本高昂、不易扩展规模；以GPU为中心的HBD（如 Google TPUv3和Tesla Dojo）存在严重的故障传播问题；TPUv4等交换机-GPU混合HBD采用折中方案，但在成本和容错方面仍然不甚理想。
5/19/2025 2:57:44 PM
RAG架构综述：探寻最适配RAG方案

RAG架构综述：探寻最适配RAG方案
RAG技术通过整合外部知识源检索与模型生成能力，使语言模型能够基于真实世界的信息生成更准确、可靠的回答。 如今，RAG技术不断演进，衍生出了多种各具特色的架构类型，每种都针对特定场景和需求进行了优化。 深入了解这些不同类型的RAG架构，对于开发者、数据科学家以及AI爱好者而言至关重要，能够帮助他们在项目中做出更合适的技术选型，充分发挥RAG的优势。
5/19/2025 8:26:37 AM
大模型之路
DeepSeek-V3 发布新论文，揭示低成本大模型训练的奥秘

DeepSeek-V3 发布新论文，揭示低成本大模型训练的奥秘
近日，DeepSeek 团队发布了关于其最新模型 DeepSeek-V3的一篇技术论文，重点讨论了在大规模人工智能模型训练中遇到的 “扩展挑战” 以及与硬件架构相关的思考。 这篇长达14页的论文不仅总结了 DeepSeek 在开发 V3过程中的经验与教训，还为未来的硬件设计提供了深刻的见解。 值得注意的是，DeepSeek 的 CEO 梁文锋也参与了论文的撰写。
5/16/2025 9:00:55 AM
AI在线
ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍

ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
Mixture-of-Experts（MoE）在推理时仅激活每个 token 所需的一小部分专家，凭借其稀疏激活的特点，已成为当前 LLM 中的主流架构。 然而，MoE 虽然显著降低了推理时的计算量，但整体参数规模依然大于同等性能的 Dense 模型，因此在显存资源极为受限的端侧部署场景中，仍然面临较大挑战。 现有的主流解决方案是专家卸载（Expert Offloading），即将专家模块存储在下层存储设备（如 CPU 内存甚至磁盘）中，在推理时按需加载激活的专家到显存进行计算。
5/7/2025 1:49:19 PM
机器之心
开源的轻量化VLM-SmolVLM模型架构、数据策略及其衍生物PDF解析模型SmolDocling

开源的轻量化VLM-SmolVLM模型架构、数据策略及其衍生物PDF解析模型SmolDocling
缩小视觉编码器的尺寸，能够有效的降低多模态大模型的参数量。 再来看一个整体的工作，从视觉侧和语言模型侧综合考量模型参数量的平衡模式，进一步降低参数量，甚至最小达256M参数量，推理时显存占用1GB。 下面来看看，仅供参考。
4/30/2025 3:20:00 AM
于俊晖
模型压缩到70%，还能保持100%准确率，无损压缩框架DFloat11来了

模型压缩到70%，还能保持100%准确率，无损压缩框架DFloat11来了
大型语言模型（LLMs）在广泛的自然语言处理（NLP）任务中展现出了卓越的能力。 然而，它们迅速增长的规模给高效部署和推理带来了巨大障碍，特别是在计算或内存资源有限的环境中。 例如，Llama-3.1-405B 在 BFloat16（16-bit Brain Float）格式下拥有 4050 亿个参数，需要大约 810GB 的内存进行完整推理，超过了典型高端 GPU 服务器（例如，DGX A100/H100，配备 8 个 80GB GPU）的能力。
4/29/2025 9:14:00 AM
机器之心
ICLR 2025 Oral｜差分注意力机制引领变革，DIFF Transformer攻克长序列建模难题

ICLR 2025 Oral｜差分注意力机制引领变革，DIFF Transformer攻克长序列建模难题
近年来，Transformer 架构在自然语言处理领域取得了巨大成功，从机器翻译到文本生成，其强大的建模能力为语言理解与生成带来了前所未有的突破。 然而，随着模型规模的不断扩大和应用场景的日益复杂，传统 Transformer 架构逐渐暴露出缺陷，尤其是在处理长文本、关键信息检索以及对抗幻觉等任务时，Transformer 常常因过度关注无关上下文而陷入困境，导致模型表现受限。 为攻克这一难题，来自微软和清华的研究团队提出了 DIFF Transformer，一种基于差分注意力机制的创新基础模型架构。
4/29/2025 9:05:00 AM
机器之心
Transformer+Mamba黄金组合！长文推理性能飙升3倍，性能还更强

Transformer+Mamba黄金组合！长文推理性能飙升3倍，性能还更强
过去几年，Transformer虽稳坐AI架构「铁王座」，但其二次方复杂度带来的算力消耗和长序列处理瓶颈，限制了大模型在推理阶段处理长文本。 Mamba凭借「线性复杂度」异军突起，非常适合长序列任务，有望成为Transformer架构的替代品，但在处理全局关系上偏弱。 Mamba Transformer混合架构可以将二者的优势互补，实现「效率」和「性能」的双丰收。
4/21/2025 9:07:00 AM
新智元
谷歌提出Transformer架构中，表示崩塌、过度压缩的五个解决方法

谷歌提出Transformer架构中，表示崩塌、过度压缩的五个解决方法
Transformer架构的出现极大推动了生成式AI的发展，在此基础之上开发出了ChatGPT、Copilot、讯飞星火、文心一言、Midjourney等一大批知名产品。 但Transformer架构并非完美还存在不少问题，例如，在执行需要计数或复制输入序列元素的任务经常会出错。 而这些操作是推理的基本组件，对于解决日常任务至关重要。
4/17/2025 9:53:49 AM
AIGC开放社区
CVPR满分论文 | 英伟达开源双目深度估计大模型FoundationStereo

CVPR满分论文 | 英伟达开源双目深度估计大模型FoundationStereo
本文介绍了 FoundationStereo，一种用于立体深度估计的基础模型，旨在实现强大的零样本泛化能力。 通过构建大规模（100 万立体图像对）合成训练数据集，结合自动自筛选流程去除模糊样本，并设计了网络架构组件（如侧调谐特征主干和远程上下文推理）来增强可扩展性和准确性。 这些创新显著提升了模型在不同领域的鲁棒性和精度，为零样本立体深度估计设立了新标准。
4/7/2025 9:45:00 AM
机器之心
DeepSeek 悄然发布 DeepSeek-V3–0324：远超预期的重大升级

DeepSeek 悄然发布 DeepSeek-V3–0324：远超预期的重大升级
DeepSeek 近期悄然发布的 DeepSeek-V3–0324，在 AI 社区和行业内引发了广泛关注。 这一版本是 DeepSeek V3 （DeepSeek-V3 深度剖析：下一代 AI 模型的全面解读）模型的重要升级，其带来的一系列技术革新和性能提升远超众人预期，为开发者和企业带来了新的机遇与可能。 一、DeepSeek-V3–0324 的技术突破（一）Multi-head Latent Attention（MLA）和增强的 DeepSeekMoE 架构DeepSeek-V3–0324 引入了 Multi-head Latent Attention（MLA）和增强版的 DeepSeekMoE 架构，这些创新技术为模型性能的提升奠定了坚实基础。
3/28/2025 4:30:00 AM
大模型之路
爆火Block Diffusion引发LLM架构变革？自回归+扩散模型完美结合

爆火Block Diffusion引发LLM架构变革？自回归+扩散模型完美结合
扩散模型被广泛应用于生成图像和视频，并且在生成离散数据（如文本或生物序列）任务上的效果也越来越好，与自回归模型相比，扩散模型有望加速「生成过程」并提高模型输出的「可控性」。 然而，离散扩散模型目前仍然有三个局限性：在聊天系统等应用中，模型需要生成任意长度的输出序列（例如，对用户问题的回答），但大多数现有的扩散架构只能生成固定长度的向量；离散扩散在生成过程中使用双向上下文，因此无法利用键值缓存（KV caching）复用之前的计算，使得推理效率较低。 从困惑度等标准指标来看，离散扩散模型的质量仍落后于自回归方法，也进一步限制了其应用范围。
3/25/2025 9:04:12 AM
新智元
DeepSeek 开源 V3/R1 架构设计思路，原来 545% 的利润率，它也只是被逼无奈？

DeepSeek 开源 V3/R1 架构设计思路，原来 545% 的利润率，它也只是被逼无奈？
开源周的最后一天，DeepSeek分享了DeepSeek-V3/R1的架构设计思路，让大家能够更系统更全面的了解其推理系统的设计过程，以及更深刻的理解之前开源的6个项目。 DeepSeek-V3/R1推理系统的核心目标是什么？ 通过软件架构的优化，达到：更高的吞吐量；更低的延时；为什么DeepSeek要走这一条路？
3/20/2025 9:00:00 AM
架构师之路
65岁陈立武点爆英特尔三把火！裁员砍中层，AI制造，争夺世界代工厂王座

65岁陈立武点爆英特尔三把火！裁员砍中层，AI制造，争夺世界代工厂王座
随着华人大佬执掌英特尔之后，一场大刀阔斧的改革呼之欲出。 路透独家报道称，新任CEO陈立武计划全面改革「制造和AI」业务，试图带领英特尔重回时代巅峰。 在上周的全员大会上，他直言不讳地告诉全员工，「公司需要做出艰难的决定」。
3/18/2025 1:11:15 PM
新智元
DeepSeek 3FS 架构分析和思考（上篇）

DeepSeek 3FS 架构分析和思考（上篇）
2025 年 2 月28 日，DeepSeek 在其开源周最后一天压轴发布了自研的并行文件系统 Fire-Flyer File System，简称 3FS。 该系统支撑了 DeepSeek V3&R1 模型训练、推理的全流程，在数据预处理、数据集加载、CheckPoint、KVCache 等场景发挥了重要作用。 项目一经发布，就获得了存储领域的广泛关注。
3/13/2025 1:51:46 PM
火山引擎存储团队
Phi-4-multimodal：图、文、音频统一的多模态大模型架构、训练方法、数据细节

Phi-4-multimodal：图、文、音频统一的多模态大模型架构、训练方法、数据细节
Phi-4-Multimodal 是一种参数高效的多模态模型，通过 LoRA 适配器和模式特定路由器实现文本、视觉和语音/音频的无缝集成。 训练过程包括多阶段优化，确保在不同模式和任务上的性能，数据来源多样，覆盖高质量合成数据。 它的设计体现了小型语言模型在多模态任务上的潜力。
3/10/2025 2:00:00 AM
余俊晖
DeepSeek的MLA架构：大模型迁移的新突破

DeepSeek的MLA架构：大模型迁移的新突破
在人工智能领域，DeepSeek-R1的推出引发了广泛关注，这一创新代表了 AI 产业的颠覆性进展。 其多头潜在注意力网络（Multi-head Latent Attention，MLA）架构，借助低秩压缩技术显著降低了训练与推理的成本，甚至仅为同等性能大模型的十分之一。 这一成果由复旦大学 NLP 实验室的博士后纪焘及其团队共同完成，目标是让任意预训练的大语言模型能够快速迁移到 MLA 架构，而无需重新从头开始训练。
3/7/2025 10:52:00 AM
AI在线
LLM 大语言模型定义以及关键技术术语认知

LLM 大语言模型定义以及关键技术术语认知
大语言模型定义LLM（Large Language Models）是基于 Transformer 架构(可以理解为不同寻常的大脑)的深度神经网络，通过海量文本数据训练获得语言理解和生成能力。 其核心特征包括：参数规模达数十亿级别（GPT-3 175B参数）知识储备惊人，可以理解为脑细胞数量是普通人的千亿倍（1750亿参数），相当于把整个图书馆的书都装进大脑自回归生成机制（逐词预测）说话方式像接龙,当它写作文时，就像我们玩词语接龙：先写"今天"，然后根据"今天"想"天气"，接着根据"今天天气"想"晴朗"，逐字逐句生成内容。 注意力机制实现长程依赖建模特别会抓重点就像我们读小说时，会自动记住关键人物关系（比如注意到"陈平安喜欢宁姚"），它能自动捕捉文字间的深层联系。
3/4/2025 1:00:00 AM
山河已无恙