架构

硬核拆解！从GPT-2到gpt-oss，揭秘大模型进化关键密码

8月5日，在GPT-5发布前两天，OpenAI推出了它的两款开源权重大语言模型：gpt-oss-120b、gpt-oss-20b。这是自2019年GPT-2，近六年来OpenAI首次发布开放权重的模型。得益于巧妙的优化技术，这些模型甚至可以在本地设备上运行。

8/18/2025 9:15:00 AM

字节&MAP重塑大模型推理算法优化重点，强化学习重在高效探索助力LLM提升上限

强化学习（RL）范式虽然显著提升了大语言模型（LLM）在复杂任务中的表现，但其在实际应用中仍面临传统RL框架下固有的探索难题。一个普遍存在的现象是：在训练过程中，模型的熵值迅速下降，推理路径趋于固化，导致“利用（exploitation）”远超“探索（exploration）”，严重失衡。这种过早收敛不仅削弱了模型的多样性生成能力，也限制了其性能上限的进一步突破。

8/8/2025 9:02:00 AM

AI Agent的工作原理和架构

大家好，我是人月聊 IT。今天聊AI智能体的工作原理，既然谈AI工作原理，刚好就让AI自己来做回答。参考提示词：如果要描述一个事物或一个系统的工作原理，我的核心思路就是要打开事物内部，看事物内部由哪些组件组成，这些组件之间是如何交互和协同的，最终对我展示了某种输出或行为特征。

8/4/2025 2:55:00 AM

何明路

现代LLM架构设计一览：从DeepSeek-V3到Kimi K2

主要内容现代LLM架构的演进主要围绕以下几个核心目标：提高推理效率：通过GQA、MLA、滑动窗口注意力、MoE等技术减少内存占用和计算量。增强训练稳定性：通过归一化层（如RMSNorm）的放置和QK-Norm等技术优化训练过程。优化模型容量与性能：通过MoE实现更大参数量和知识吸收能力，同时保持推理效率。

7/31/2025 1:00:00 AM

常华Andy

四款扩散大语言模型全部破防？上交&上海AI Lab发现致命安全缺陷

扩散语言模型（Diffusion-based LLMs，简称 dLLMs）以其并行解码、双向上下文建模、灵活插入masked token进行解码的特性，成为一个重要的发展方向。相较传统的自回归语言模型，dLLMs 既可以一次性生成多个位置的词，也能更自然地完成文本插入、改写、补全等任务，被广泛应用于交互式问答、代码生成、甚至多模态场景。但在这股看似技术跃迁的浪潮背后，一场潜藏的安全危机正在酝酿：能否继续沿用自回归模型的对齐与防护机制，保障dLLM的输出安全？

7/24/2025 9:15:00 AM

Meta开源创新大模型架构AU-Nets

在大模型领域，如何将文本数据分解成合适的单元一直是重点研究对象。传统的分词方法，如Byte Pair Encoding等，会预先将文本分割成固定粒度的单元，然后构建一个静态的词汇表供模型使用。但这种方法存在诸多局限性，一旦分词完成，模型在后续处理中就只能局限于这些预设的单元，无法灵活地调整对数据的处理方式和预测范围；另一方面，对于一些低资源语言或者具有特殊字符结构的文本，这种固定分词方式往往难以有效处理，限制了模型的泛化能力和应用范围。

7/23/2025 9:10:00 AM

Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了

就在刚刚，KAIST、Mila和谷歌DeepMind团队等放出重磅炸弹——一个名为Mixture-of-Recursions的全新LLM模型架构。这个崭新的架构，被业内认为有潜力成为Transformer杀手！它的推理速度提升2倍，训练FLOP减少，KV缓存内存直接减半。

7/17/2025 1:05:35 PM

彻底改写Transformer！「能量驱动架构」横空出世，通用推理时代要来了？

在Transformer统治AI世界十余年之后，Attention的时代正在退场，真正的思考刚刚开始——由UIUC、斯坦福、哈佛等顶尖机构联合提出的Energy-Based Transformer（EBT）震撼登场。它首次将Transformer架构引入能量建模（Energy-Based Models, EBM）框架，彻底打破「前馈即推理」的旧范式。图片论文链接：，也不是RNN的改进，而是一种彻底不同的推理机制：模型不再一次性「说完答案」，而是像人类一样从模糊猜测出发，逐步优化推理路径。

7/15/2025 2:00:00 AM

新智元

开源DeepSeek R1增强版：推理效率快200%，创新AoE架构

德国知名技术咨询公司TNG开源了DeepSeek R1的增强版DeepSeek-TNG-R1T2-Chimera。 Chimera是基于DeepSeek的R1-0528、R1和V3-0324三大模型混合开发而成，同时采用了一种全新的AoE架构。这种架构在提升性能的同时，还能加快模型的推理效率并节省token输出。

7/4/2025 9:08:00 AM

你的RAG系统安全么？

生成式人工智能（GenAI）近年来发展迅速，大语言模型成为这一浪潮的核心力量。无论是商业还是开源模型，它们都具备强大的语言理解与生成能力，正广泛应用于内容创作、聊天机器人等场景，让企业更容易落地智能应用。但一个关键挑战是如何让这些通用的 LLM 更懂特定领域，同时保持知识的时效性。

7/1/2025 9:36:42 AM

曹洪伟

华为CloudMatrix重磅论文披露AI数据中心新范式，推理效率超NV H100

今年，AI大厂采购GPU的投入又双叒疯狂加码——马斯克xAI打算把自家的10万卡超算扩增10倍，Meta也计划投资100亿建设一个130万卡规模的数据中心……GPU的数量，已经成为了互联网企业AI实力的直接代表。的确，建设AI算力，这种堆卡模式是最简单粗暴的，但实际上，AI集群却并非是卡越多就越好用。 GPU虽然计算性能好，但是在集群化的模式下依然有很多挑战，即便强如英伟达，也面临通信瓶颈、内存碎片化、资源利用率波动等问题。

6/30/2025 8:49:00 AM

MiniMax 发布 M1 大模型，百万Token上下文+MoE架构，只花了 GPT-4 的零头！

近日，国内 AI 初创公司 MiniMax 发布了一款全新的语言大模型 MiniMax-M1。有两个方面最引人注目：1.高达100万Token的上下文处理能力。 2.极具竞争力的训练成本效益。

6/18/2025 4:42:38 PM

3D高斯泼溅，可输入视图量高达500！推理速度提升3倍，内存少80%

在增强现实（AR）和虚拟现实（VR）等前沿应用领域，新视角合成（Novel View Synthesis, NVS）正扮演着越来越关键的角色。近年来，3D高斯泼溅（3D Gaussian Splatting, 3DGS）技术横空出世，凭借其革命性的实时渲染能力和卓越的视觉质量，迅速成为NVS领域的一大突破。然而，传统3DGS对耗时的「逐场景优化」的依赖，严重限制了其在实际应用中的部署。

6/18/2025 8:54:48 AM