AI在线 AI在线

摩尔线程 MUSA 架构强势适配 llama.cpp,助力 AI 推理新纪元!

在全球人工智能技术飞速发展的今天,摩尔线程(Moore Threads)又有了新的突破! 其自主研发的通用并行计算架构 MUSA(Meta-computing Unified System Architecture)日前宣布,成功适配了开源推理框架 llama.cpp。 这一成就不仅展示了摩尔线程在 AI 生态系统中的进一步布局,也为广大开发者提供了更为高效的推理工具。

在全球人工智能技术飞速发展的今天,摩尔线程(Moore Threads)又有了新的突破!其自主研发的通用并行计算架构 MUSA(Meta-computing Unified System Architecture)日前宣布,成功适配了开源推理框架 llama.cpp。这一成就不仅展示了摩尔线程在 AI 生态系统中的进一步布局,也为广大开发者提供了更为高效的推理工具。

llama.cpp 是一个以纯 C/C++ 实现的大语言模型推理框架,以其轻量化的部署方式和跨硬件的兼容性备受瞩目。它不仅支持流行的 LLaMA 和 Mistral 等模型,还能够应用于多种多模态场景。这次适配意味着用户可以在摩尔线程的 MTT S80、S3000 和 S4000 系列 GPU 上,通过官方容器镜像高效地进行 AI 推理工作,极大提升了用户体验。

值得一提的是,今年 4 月,MUSA SDK 4.0.1 已经扩展到了 Intel 处理器以及国产海光平台,这次与 llama.cpp 的联动,更是为开发者们降低了部署大模型的门槛。开发者们只需简单配置,就能在本土 AI 硬件上轻松运行各种复杂的推理任务,为整个国内 AI 硬件生态注入了新的活力。

随着 AI 技术的不断演进,摩尔线程正以其创新的技术实力不断推动行业前行,进一步加速了 AI 推理框架的普及与应用。可以预见,未来在摩尔线程的推动下,AI 将会在各个领域展现出更加广泛的应用潜力,为用户带来更多的便利与可能。

相关资讯

摩尔线程的野心,不藏了

摩尔线程的野心,不藏了

上市后的仅15天, 摩尔线程,便将首个大动作直接指向了生态的核心——开发者。 在这次首届、也是国内首个聚焦全功能GPU的开发者大会中,围绕着MUSA这个关键词,新品可谓是目接不暇:一个全新GPU架构:花港,密度提升50%,效能提升10倍。 三款新芯片:华山、庐山、长江,分别聚焦AI训推一体、图形渲染和智能SoC。
12/22/2025 10:11:58 AM 量子位的朋友们
真·ChatGPT平替:无需显卡,MacBook、树莓派就能运行LLaMA

真·ChatGPT平替:无需显卡,MacBook、树莓派就能运行LLaMA

Meta 在上个月末发布了一系列开源大模型 ——LLaMA(Large Language Model Meta AI),参数量从 70 亿到 650 亿不等。由于模型参数量较少,只需单张显卡即可运行,LLaMA 因此被称为 ChatGPT 的平替。发布以来,已有多位开发者尝试在自己的设备上运行 LLaMA 模型,并分享经验。
3/14/2023 2:16:00 PM 机器之心
摩尔线程开源 OpenCV-MUSA:支持绝大部分 cv::cuda 命名空间下数据结构及 API

摩尔线程开源 OpenCV-MUSA:支持绝大部分 cv::cuda 命名空间下数据结构及 API

感谢摩尔线程宣布其自研统一系统架构 MUSA 已完成与开源计算机视觉库 OpenCV 的适配,并正式发布 OpenCV-MUSA 开源项目。OpenCV 作为计算机视觉领域最重要的开源库之一,为图像和视频处理的开发者和研究人员提供了强大且灵活的工具。OpenCV 在自动驾驶、医疗影像、安防监控、机器人视觉、增强现实和图像识别等多个领域得到广泛应用。在现有 OpenCV 代码的基础上,摩尔线程新增了 MUSA 设备后端,并为多个算法模块提供了 MUSA 加速支持,同时对编译脚本也进行了适配。目前 OpenCV-MUS
9/20/2024 5:28:01 PM 沛霖(实习)