AI在线 AI在线

国产 GPU 助力,摩尔线程实现对 DeepSeek 蒸馏模型推理服务部署

DeepSeek 开源模型(如 V3、R1 系列)在多语言理解与复杂推理任务中展现了卓越性能。摩尔线程智能科技(北京)有限责任公司今日发文宣布,摩尔线程实现了对 DeepSeek 蒸馏模型推理服务部署。
感谢DeepSeek 开源模型(如 V3、R1 系列)在多语言理解与复杂推理任务中展现了卓越性能。摩尔线程智能科技(北京)有限责任公司今日发文宣布,摩尔线程实现了对 DeepSeek 蒸馏模型推理服务部署

图片

AI在线从摩尔线程官方获悉,通过 DeepSeek 提供的蒸馏模型,能够将大规模模型的能力迁移至更小更高效的版本,在国产 GPU 上实现高性能推理。

  • 开源框架适配:基于 Ollama 开源框架,摩尔线程完成 DeepSeek-R1-Distill-Qwen-7B 蒸馏模型的部署,并在多种中文任务中展现了优异的性能,验证摩尔线程自研全功能 GPU 的通用性与 CUDA 兼容性。

  • 自研引擎加速:通过摩尔线程自主研发的高性能推理引擎,结合软硬件协同优化技术,通过定制化的算子加速和内存管理,显著提升了模型的计算效率和资源利用率。这一引擎不仅支持 DeepSeek 蒸馏模型的高效运行,还为未来更多大规模模型的部署提供了技术保障。

另外,用户也可以基于 MTT S80 和 MTT S4000 进行 DeepSeek-R1 蒸馏模型的推理部署,此前已有用户在 MTT S80 上手动完成实践。

相关资讯

摩尔线程支持 DeepSeek 开源周“全家桶”

摩尔线程宣布全面支持DeepSeek开源周的五大项目,包括FlashMLA、DeepEP、DeepGEMM、DualPipe和Fire-Flyer 文件系统(3FS)。#摩尔线程##DeepSeek开源周##DeepSeek#
3/2/2025 9:12:24 AM
归泷(实习)

摩尔线程成功支持 DeepSeek 开源通信库 DeepEP 和并行算法 DualPipe

在 DeepSeek 开源周第四日,摩尔线程宣布已成功支持 DeepSeek 开源通信库 DeepEP 和并行算法 DualPipe,并发布相关开源代码仓库:MT-DeepEP 和 MT-DualPipe。
2/27/2025 11:39:00 PM
归泷(实习)

摩尔线程 MTT S4000 训推一体计算卡通过中国信通院 AI 芯片和大模型适配验证

摩尔线程官方昨日晚发文宣布:经中国信息通信研究院检测,在本次 AI 芯片与模型适配验证项目中,摩尔线程自主研发的训推一体计算卡 MTT S4000 和杭州深度求索人工智能基础技术研究有限公司研发的 DeepSeek-R1 671B 大模型,在推理场景下的适配结果符合“AI 芯片和大模型通过性适配要求”,成功通过中国信通院《AI 芯片和大模型适配能力通过性评测软硬件环境及测试细则》推理场景验证。
5/8/2025 9:28:37 AM
归泷
  • 1