AI在线 AI在线

中国电信完成业界首个国产算力的跨架构大模型推理技术验证,英伟达、昇腾、沐曦芯片无缝运行

AI在线 12 月 12 日消息,据通信产业网今日报道,中国电信研究院联合中国科学院计算技术研究所、华为昇腾、沐曦等,依托中国电信云网融合技术中试验证平台,成功完成业界首个面向国产算力的跨架构大模型推理技术验证。 中国电信研究院牵头启动“Triton 统一跨架构推理框架”技术攻关,通过自研 Triton 跨架构编译器与统一大模型算子库,实现同一套算子源码在英伟达、昇腾、沐曦三类芯片上无缝运行。 本次技术验证已完成 10 余款主流开源模型在三类芯片上的端到端推理测试,核心指标表现优异:平均迁移时间≤3 天,较传统适配模式效率提升超 80%;精度误差 0.5%,确保模型推理可靠性;在同等延迟约束下,系统吞吐达到各芯片原生算子库的 90% 以上,实现性能与适配效率的双重优化。

AI在线 12 月 12 日消息,据通信产业网今日报道,中国电信研究院联合中国科学院计算技术研究所、华为昇腾、沐曦等,依托中国电信云网融合技术中试验证平台,成功完成业界首个面向国产算力的跨架构大模型推理技术验证

中国电信研究院牵头启动“Triton 统一跨架构推理框架”技术攻关,通过自研 Triton 跨架构编译器与统一大模型算子库,实现同一套算子源码在英伟达、昇腾、沐曦三类芯片上无缝运行。

本次技术验证已完成 10 余款主流开源模型在三类芯片上的端到端推理测试,核心指标表现优异:

  • 平均迁移时间≤3 天,较传统适配模式效率提升超 80%;

  • 精度误差 < 0.5%,确保模型推理可靠性;

  • 在同等延迟约束下,系统吞吐达到各芯片原生算子库的 90% 以上,实现性能与适配效率的双重优化。

此外,框架内置的 benchmark 与 Profiling 工具可一键生成跨芯性能对比报告,为业务方提供选芯决策支撑

AI在线注:中国电信研究院是中国电信集团下属研发机构,聚焦 6G、光网络、卫星通信等领域核心技术攻关。

相关资讯

多模态大模型学会反思和复盘,上交&amp;上海AI Lab破解多模态复杂推理

MM-HELIX团队 投稿. 量子位 | 公众号 QbitAI多模态大模型表现越来越惊艳,但人们也时常困于它的“耿直”。 无论是生成代码、分析图表还是回答问题,诸多多模态大模型(MLLM)都倾向于给出一个“一步到位”的答案。
10/19/2025 3:08:43 PM
鹭羽

CoT 的边界:模式匹配还是逻辑推理?数据分布如何决定CoT的成败

大家好,我是肆〇柒。 思维链,可能是大家刚接触“本届模型”(transformer 为架构的 LLM),学 prompt 时的一个必修课,大语言模型可以仿照人的链式思考模式来生成推理链,以辅助推理和解决问题。 我看到一个研究论文,它从数据分布视角,深入剖析了大型语言模型(LLM)思维链(CoT)推理的本质,还挺有意思的,对我们理解 CoT 和模型推理边界,具有原理级的认知帮助。
8/13/2025 10:21:50 AM
肆零柒

「鲶鱼」DeepSeek 正在搅动上下游

作者|朱可轩编辑|陈彩娴春节结束,DeepSeek 热度不减,而要说刚刚过去的春节假期,留给科技圈的印象可能是“卷上加卷”,几乎无人不在热议分析着 DeepSeek 这条“鲶鱼”。 硅谷方面迎来了空前的危机感:开源的信徒们声量再度走高,甚至连 OpenAI 都在反思闭源的决策是否正确;低算力成本的新范式引发芯片巨头英伟达连锁反应,创下美股史上最大规模单日市值蒸发纪录;政府部门下场调查 DeepSeek 使用芯片的合规性......在海外对 DeepSeek 评价褒贬不一的同时,国内也迎来了空前繁荣。 DeepSeek 发布 R1 模型后上线的 APP 接到泼天流量,初步验证了应用端增长将会拉动整个 AI 生态发展。
2/7/2025 6:10:00 PM
朱可轩