记忆张量
记忆张量 × 商汤大装置:国产 GPGPU 推理成本反超 A100!
近日,记忆张量联合商汤大装置宣布,在国产GPGPU上率先跑通业内首个以“记忆—计算—调度”一体化为核心的PD分离商用推理集群。 相比传统仅依赖硬件隔离的方案,本次落地将PD分离与记忆张量旗下核心产品MemOS(以下简称 MemOS)的激活记忆体系深度耦合,使Prefill批量化可调度、Decode前台低抖动成为可能。 集群在真实C端负载下实现单卡并发效率提升20%、吞吐提升75%,综合推理性价比达到同代NVIDIAA100的150%。
国内外AI大厂重押,初创梭哈,谁能凭「记忆」成为下一个「DeepSeek」?
谁率先让模型拥有「记忆」,谁就掌握主动权。 「记忆」会是引爆新一轮 AI 浪潮的最后一块拼图吗? 如果时间往前推半年或四五个月,业界对于这一问题可能都是疑惑、不解:彼时 DeepSeek 将大模型推理能力推至高潮引起的余波仍在蔓延,Manus 在全球范围内开启通用 AI Agent 新叙事,人们正沉浸在技术和应用双面开花带来的热闹、狂欢中……「记忆」,有什么好说的?
重塑AI记忆边界:MemOS开源!时序推理较OpenAI提升159%
大模型记忆管理和优化框架是当前各大厂商争相优化的热点方向,MemOS 相比现有 OpenAI 的全局记忆在大模型记忆评测集上呈现出显著的提升,平均准确性提升超过 38.97%,Tokens 的开销进一步降低 60.95%,一举登顶记忆管理的 SOTA 框架,特别是在考验框架时序建模与检索能力的时序推理任务上,提升比例更是达到了 159%,相当震撼! 图 1. MemOS 项目官网报告的性能表现在大型语言模型(LLM)一路狂飙的这几年,参数规模和算力几乎成了 AI 能力的代名词。
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
谷歌
DeepSeek
AI新词
AI绘画
大模型
机器人
数据
Midjourney
开源
Meta
微软
智能
用户
GPT
学习
英伟达
Gemini
智能体
技术
马斯克
Anthropic
图像
AI创作
训练
LLM
论文
AI for Science
代码
腾讯
苹果
算法
Agent
Claude
芯片
具身智能
Stable Diffusion
xAI
蛋白质
人形机器人
开发者
生成式
神经网络
机器学习
AI视频
3D
字节跳动
大语言模型
RAG
Sora
百度
研究
GPU
生成
华为
工具
AGI
计算
生成式AI
AI设计
大型语言模型
搜索
亚马逊
AI模型
视频生成
特斯拉
DeepMind
场景
Copilot
深度学习
Transformer
架构
MCP
编程
视觉