AI在线 AI在线

模型推理

中国电信完成业界首个国产算力的跨架构大模型推理技术验证，英伟达、昇腾、沐曦芯片无缝运行

中国电信完成业界首个国产算力的跨架构大模型推理技术验证，英伟达、昇腾、沐曦芯片无缝运行

AI在线 12 月 12 日消息，据通信产业网今日报道，中国电信研究院联合中国科学院计算技术研究所、华为昇腾、沐曦等，依托中国电信云网融合技术中试验证平台，成功完成业界首个面向国产算力的跨架构大模型推理技术验证。 中国电信研究院牵头启动“Triton 统一跨架构推理框架”技术攻关，通过自研 Triton 跨架构编译器与统一大模型算子库，实现同一套算子源码在英伟达、昇腾、沐曦三类芯片上无缝运行。 本次技术验证已完成 10 余款主流开源模型在三类芯片上的端到端推理测试，核心指标表现优异：平均迁移时间≤3 天，较传统适配模式效率提升超 80%；精度误差 0.5%，确保模型推理可靠性；在同等延迟约束下，系统吞吐达到各芯片原生算子库的 90% 以上，实现性能与适配效率的双重优化。
12/12/2025 8:58:14 PM 汪淼
多模态大模型学会反思和复盘，上交&上海AI Lab破解多模态复杂推理

多模态大模型学会反思和复盘，上交&上海AI Lab破解多模态复杂推理

MM-HELIX团队 投稿. 量子位 | 公众号 QbitAI多模态大模型表现越来越惊艳，但人们也时常困于它的“耿直”。 无论是生成代码、分析图表还是回答问题，诸多多模态大模型（MLLM）都倾向于给出一个“一步到位”的答案。
10/19/2025 3:08:43 PM 鹭羽
CoT 的边界：模式匹配还是逻辑推理？数据分布如何决定CoT的成败

CoT 的边界：模式匹配还是逻辑推理？数据分布如何决定CoT的成败

大家好，我是肆〇柒。 思维链，可能是大家刚接触“本届模型”（transformer 为架构的 LLM），学 prompt 时的一个必修课，大语言模型可以仿照人的链式思考模式来生成推理链，以辅助推理和解决问题。 我看到一个研究论文，它从数据分布视角，深入剖析了大型语言模型(LLM)思维链(CoT)推理的本质，还挺有意思的，对我们理解 CoT 和模型推理边界，具有原理级的认知帮助。
8/13/2025 10:21:50 AM 肆零柒