推理,AI,UCM,华为,体验,模型,HBM,数据,提升,存储
华为推新技术优化大模型推理:UCM 技术缓解 HBM 依赖
8月12日,华为将在 2025金融AI推理应用落地与发展论坛 上发布突破性 AI 推理创新技术 UCM(推理记忆数据管理器)。 该技术有望降低中国 AI 推理对 HBM(高带宽内存)的依赖,并显著提升国内大模型推理性能。 UCM 以 KV Cache 为核心,融合多类型缓存加速算法工具,通过分级管理推理过程中产生的记忆数据,扩大上下文窗口,实现高吞吐、低时延的推理体验,并降低每 Token 的推理成本。
8/12/2025 5:20:46 PM
AI在线
- 1
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
谷歌
AI绘画
机器人
数据
大模型
Midjourney
开源
Meta
智能
微软
用户
AI新词
GPT
学习
技术
智能体
马斯克
Gemini
图像
Anthropic
英伟达
AI创作
训练
论文
LLM
代码
算法
芯片
Stable Diffusion
苹果
腾讯
AI for Science
Claude
Agent
蛋白质
开发者
生成式
神经网络
xAI
机器学习
3D
研究
人形机器人
生成
AI视频
百度
工具
具身智能
Sora
RAG
大语言模型
GPU
华为
计算
AI设计
字节跳动
搜索
大型语言模型
AGI
场景
深度学习
视频生成
架构
DeepMind
预测
视觉
伟达
Transformer
编程
AI模型
神器推荐
亚马逊
MCP