AI在线 AI在线

摩尔线程 MUSA 架构强势适配 llama.cpp,助力 AI 推理新纪元!

在全球人工智能技术飞速发展的今天,摩尔线程(Moore Threads)又有了新的突破! 其自主研发的通用并行计算架构 MUSA(Meta-computing Unified System Architecture)日前宣布,成功适配了开源推理框架 llama.cpp。 这一成就不仅展示了摩尔线程在 AI 生态系统中的进一步布局,也为广大开发者提供了更为高效的推理工具。

在全球人工智能技术飞速发展的今天,摩尔线程(Moore Threads)又有了新的突破!其自主研发的通用并行计算架构 MUSA(Meta-computing Unified System Architecture)日前宣布,成功适配了开源推理框架 llama.cpp。这一成就不仅展示了摩尔线程在 AI 生态系统中的进一步布局,也为广大开发者提供了更为高效的推理工具。

llama.cpp 是一个以纯 C/C++ 实现的大语言模型推理框架,以其轻量化的部署方式和跨硬件的兼容性备受瞩目。它不仅支持流行的 LLaMA 和 Mistral 等模型,还能够应用于多种多模态场景。这次适配意味着用户可以在摩尔线程的 MTT S80、S3000 和 S4000 系列 GPU 上,通过官方容器镜像高效地进行 AI 推理工作,极大提升了用户体验。

值得一提的是,今年 4 月,MUSA SDK 4.0.1 已经扩展到了 Intel 处理器以及国产海光平台,这次与 llama.cpp 的联动,更是为开发者们降低了部署大模型的门槛。开发者们只需简单配置,就能在本土 AI 硬件上轻松运行各种复杂的推理任务,为整个国内 AI 硬件生态注入了新的活力。

随着 AI 技术的不断演进,摩尔线程正以其创新的技术实力不断推动行业前行,进一步加速了 AI 推理框架的普及与应用。可以预见,未来在摩尔线程的推动下,AI 将会在各个领域展现出更加广泛的应用潜力,为用户带来更多的便利与可能。

相关资讯

摩尔线程:与师者 AI 完成 70 亿参数教育大模型训练测试

IT之家从摩尔线程官方公众号获悉,摩尔线程与全学科教育 AI 大模型“师者 AI”联合宣布,双方已完成大模型训练测试。师者 AI 成⽴于 2020 年,核心模型团队来自清华大学,总部位于北京海淀区。师者 AI 全学科教育大模型自开放内测以来,拥有超过 2.5 万用户,支持 30 个以上学科知识,2000 本以上教材。摩尔线程表示,依托摩尔线程夸娥(KUAE)千卡智算集群,师者 AI 完成了其 70 亿参数大模型的高强度训练测试。整个训练过程用时一周,训练效率达到预期。双方还将在大模型推理上开展适配工作,以更好应对教
6/14/2024 1:39:43 PM
沛霖(实习)

摩尔线程开源 OpenCV-MUSA:支持绝大部分 cv::cuda 命名空间下数据结构及 API

感谢摩尔线程宣布其自研统一系统架构 MUSA 已完成与开源计算机视觉库 OpenCV 的适配,并正式发布 OpenCV-MUSA 开源项目。OpenCV 作为计算机视觉领域最重要的开源库之一,为图像和视频处理的开发者和研究人员提供了强大且灵活的工具。OpenCV 在自动驾驶、医疗影像、安防监控、机器人视觉、增强现实和图像识别等多个领域得到广泛应用。在现有 OpenCV 代码的基础上,摩尔线程新增了 MUSA 设备后端,并为多个算法模块提供了 MUSA 加速支持,同时对编译脚本也进行了适配。目前 OpenCV-MUS
9/20/2024 5:28:01 PM
沛霖(实习)

真·ChatGPT平替:无需显卡,MacBook、树莓派就能运行LLaMA

Meta 在上个月末发布了一系列开源大模型 ——LLaMA(Large Language Model Meta AI),参数量从 70 亿到 650 亿不等。由于模型参数量较少,只需单张显卡即可运行,LLaMA 因此被称为 ChatGPT 的平替。发布以来,已有多位开发者尝试在自己的设备上运行 LLaMA 模型,并分享经验。
3/14/2023 2:16:00 PM
机器之心
  • 1