AI在线 AI在线

架构

「开源类脑芯片」二代发布！支持反向传播突触学习规则和并行神经元计算

「开源类脑芯片」二代发布！支持反向传播突触学习规则和并行神经元计算
神经形态计算的研究主要基于脉冲神经网络（SNN）模型，这是一种生物启发的计算范式，旨在模拟大脑的信息处理机制。 具体而言，该领域的目标是通过融合神经生物学和计算神经科学的理论知识，构建能够实现类人智能的计算系统。 为了解决传统计算架构在处理大量数据时面临的效率瓶颈和高功耗问题，研究者们提出了基于人脑神经元结构的神经形态芯片，以显著提升计算效率和能效比。
2/20/2025 1:48:24 PM
新智元
一文读懂DeepSeek-V3 技术报告

一文读懂DeepSeek-V3 技术报告
2023年7月17日，DeepSeek正式成立，由幻方量化提供资金支持。 梁文锋凭借其在金融和AI领域的深厚背景，带领团队开始探索生成式AI技术。 同年11月2日，DeepSeek推出首款开源模型DeepSeek Coder，支持多种编程语言的代码生成、调试和数据分析任务，为AI领域的应用奠定了基础，直到 2024 年 12 月，DeepSeek-V3的发布引发了行业震动和社会广泛关注，在他们的最新技术报告《DeepSeek-V3技术报告》中，团队详细介绍了其最新成果——DeepSeek-V3模型。
2/12/2025 8:30:18 AM
FlerkenS
AI 赋能！Spring Boot 封装智能模块，轻松实现自动化

AI 赋能！Spring Boot 封装智能模块，轻松实现自动化
在当今数字化时代，人工智能（AI）正以前所未有的速度深入各个行业，成为提升企业竞争力和优化用户体验的重要驱动力。 无论是智能客服、自动文本生成，还是数据分析和预测，AI 的应用场景正变得越来越广泛。 对于开发者而言，如何高效地将 AI 技术集成到业务系统中，是一个至关重要的问题。
2/8/2025 8:16:16 AM
路条编程
EvalPlanner：基于“计划-执行”双阶段的大语言模型评估框架

EvalPlanner：基于“计划-执行”双阶段的大语言模型评估框架
大语言模型(LLM)评估系统在生成思维链(Chain-of-Thought, CoT)序列时，需要系统地捕捉评估过程中的推理步骤。 但是由于缺乏人工标注的CoT训练数据，以及预定义评估提示在复杂任务中的局限性，构建高质量的LLM评估模型面临重大挑战。 另外手动调整评估指令的方法在面对多样化和复杂任务时表现出明显的局限性。
2/7/2025 4:07:39 PM
SACHIN KUMAR
CVPR 2024 Spotlight | 解锁图像编辑新境界, 北大、腾讯提出DiffEditor，让精细编辑更简单！

CVPR 2024 Spotlight | 解锁图像编辑新境界, 北大、腾讯提出DiffEditor，让精细编辑更简单！
本文经AIGC Studio公众号授权转载，转载请联系出处。 在图像生成领域，大型文本到图像（T2I）扩散模型近年来取得了革命性的突破。 然而，将这些强大的生成能力转化为精细的图像编辑任务，仍面临诸多挑战。
1/21/2025 10:45:00 AM
AIGC Studio
MiniMax开源4M超长上下文新模型！性能比肩DeepSeek-v3、GPT-4o

MiniMax开源4M超长上下文新模型！性能比肩DeepSeek-v3、GPT-4o
开源模型上下文窗口卷到超长，达400万token！ 刚刚，“大模型六小强”之一MiniMax开源最新模型——MiniMax-01系列，包含两个模型：基础语言模型MiniMax-Text-01、视觉多模态模型MiniMax-VL-01。 MiniMax-01首次大规模扩展了新型Lightning Attention架构，替代了传统Transformer架构，使模型能够高效处理4M token上下文。
1/15/2025 12:27:11 PM
量子位
OpenAI Agent来了！大小事务自动帮你搞定，带推送提醒的那种，今日可开玩

OpenAI Agent来了！大小事务自动帮你搞定，带推送提醒的那种，今日可开玩
开年第一剑，OpenAI Agent闪亮登场！ ChatGPT新功能「Tasks」，让AI有了执行力，可以替你完成各种任务。 无论是一次性提醒还是重复执行的动作，告诉ChatGPT你需要什么以及何时需要，它会自动帮你处理。
1/15/2025 8:32:33 AM
谷歌新架构终结Transformer，长序列处理王者诞生？清华姚班校友新作

谷歌新架构终结Transformer，长序列处理王者诞生？清华姚班校友新作
Transformer后继者终于现身！ 2017年，Attention Is All You Need首次引入注意力机制，成为现代LLM诞生标志。 虽然Transformer依然大行其道，但其架构的缺陷却饱受诟病，尤其是无法扩展更长上下文。
1/14/2025 5:23:08 PM
新智元
一文带你入门 MCP（模型上下文协议）

一文带你入门 MCP（模型上下文协议）
什么是 MCP？ MCP（Model Context Protocol，模型上下文协议） 是由 Anthropic 推出的一种开放标准，旨在统一大型语言模型（LLM）与外部数据源和工具之间的通信协议。 MCP 的主要目的在于解决当前 AI 模型因数据孤岛限制而无法充分发挥潜力的难题，MCP 使得 AI 应用能够安全地访问和操作本地及远程数据，为 AI 应用提供了连接万物的接口。
1/8/2025 11:10:46 AM
cr7258
vLLM架构到底是个啥？一文全面认知视觉大语言模型~

vLLM架构到底是个啥？一文全面认知视觉大语言模型~
毕业一年了，一直在从事大模型推理相关的工作。 工作中最常拿来比较的LLM推理框架就是vLLM，最近抽出时间详细的研究了一下vLLM的架构，希望能对vLLM有一个更详细和全面的认识。 架构总览vLLM python 工程目录如图标出的文件是vLLM python侧的工程目录中核心的组件，按照层次间的依赖关系，可以大致拆解为如下结构：LLM 类为顶层用户应用， LLM 类控制 LLM Engine类 负责总管推理全流程，LLM Engine中包含 Scheduler 类和 Worker类。
1/6/2025 11:10:00 AM
CalebDu
线性化注意力综述：突破Softmax二次复杂度瓶颈的高效计算方案

线性化注意力综述：突破Softmax二次复杂度瓶颈的高效计算方案
大型语言模型在各个领域都展现出了卓越的性能，但其核心组件之一——softmax注意力机制在计算资源消耗方面存在显著局限性。 本文将深入探讨如何通过替代方案实现线性时间复杂度，从而突破这一计算瓶颈。 注意力机制基础理论本文假设读者已经熟悉ChatGPT、Claude等模型及其底层的transformer架构原理。
12/31/2024 3:34:00 PM
Shitanshu Bhushan
万字独家爆光，首揭o1 pro架构！惊人反转，Claude 3.5 Opus没失败？

万字独家爆光，首揭o1 pro架构！惊人反转，Claude 3.5 Opus没失败？
大模型Scaling Law终结，前段时间曾被吵得沸沸扬扬。 面对诸多的质疑，硅谷巨头们用行动给出了截然不同的答案。 谷歌祭出最强下一代新模型Gemini 2.0 Flash，并带着多个智能体一同亮相；OpenAI「满血版」o1和o1 pro mode向所有人证明了模型的能力还远没有触及到天花板。
12/16/2024 9:00:00 AM
新智元
一文读懂 GPU 资源动态调度

一文读懂 GPU 资源动态调度
Hello folks，我是 Luga，今天我们来聊一下人工智能应用场景 - 构建高效、灵活的计算架构的 GPU 资源动态调度。 众所周知，随着人工智能、深度学习以及高性能计算(HPC)的快速发展，GPU (Graphics Processing . Unit)已经成为现代计算体系中的核心计算资源之一。
12/16/2024 7:41:35 AM
架构驿站
1-bit大模型还能再突破！新一代BitNet架构启用4位激活值

1-bit大模型还能再突破！新一代BitNet架构启用4位激活值
量化到1 bit的LLM还能再突破？ 这次，他们对激活值下手了！ 近日，BitNet系列的原班人马推出了新一代架构：BitNet a4.8，为1 bit大模型启用了4位激活值：图片论文地址：，激活值量化通常是比较难办的。
12/6/2024 7:17:07 AM
新智元
Hymba：结合注意力头和SSM头的创新型语言模型方案

Hymba：结合注意力头和SSM头的创新型语言模型方案
近年来，大语言模型(LLM)在各个领域取得了显著成效。 但现有的Transformer架构存在计算复杂度高、内存消耗大等问题。 而状态空间模型(SSM)如Mamba虽然具有常数复杂度和优化的硬件性能，但在记忆回溯任务上表现较弱。
12/5/2024 4:19:14 PM
佚名
重磅开源！Kimi把自家底层推理架构都开源了，开源贡献阵容相当豪华：清华、阿里、华为、AISoft、面壁智能

重磅开源！Kimi把自家底层推理架构都开源了，开源贡献阵容相当豪华：清华、阿里、华为、AISoft、面壁智能
就在昨天，Kimi宣布要把自家底层的大模型推理架构Mooncake开源出来！ 有媒体称该架构正是承载了月之暗面Kimi线上80%以上流量的正在用的底层架构。 小编立马求证了一番，的确Github上有提到：Mooncake 正在服务Kimi平台。
11/29/2024 1:54:13 PM
一夜小模型王座易主！英伟达发布超强小模型，新混合架构威力超Transformer，性能、速率、缓存全面超越Llama3.2！

一夜小模型王座易主！英伟达发布超强小模型，新混合架构威力超Transformer，性能、速率、缓存全面超越Llama3.2！
编辑 ｜言征小模型王座一夜易主了！ 冷不防，英伟达就丢出了一个新混合架构，以后不再只是Transformer的天下了。 日前，NVIDIA刚刚发布了Hymba-1.5B-Base，这是一个将Transformer注意力机制与状态空间模型（SSM）集成的小型语言模型。
11/25/2024 8:54:41 AM
言征
Transformer为什么一定要添加一个Positional Encoding模块？

Transformer为什么一定要添加一个Positional Encoding模块？
之前老喜欢死记硬背transformer的网络架构，虽然内容并不复杂，但是发现这个transformer模块中的positional encoding在死记硬背的情况之下很容易被忽略。 为了更好地理解为什么transformer一定需要有一个positional encoding，简单推了一下公式先说结论：没有Positional Encoding的transformer架构具有置换等变性。 证明如下：1.
11/20/2024 10:30:00 AM
Sirius