真·ChatGPT平替:无需显卡,MacBook、树莓派就能运转LLaMA

Meta 在上个月末发布了一系列开源大模型 ——LLaMA(Large Language Model Meta AI),参数量从 70 亿到 650 亿不等。由于模型参数量较少,只需单张显卡即可运转,LLaMA 因此被称为 ChatGPT 的平替。发布以来,已有多位开发者尝试在自己的设备上运转 LLaMA 模型,并分享经验。

虽然相比于 ChatGPT 等需要大量算力资源的超大规模的说话模型,单张显卡的要求已经很低了,但还能更低!最近有开发者实行了在 MacBook 上运转 LLaMA,还有开发者胜利在 4GB RAM 的树莓派上运转了 LLaMA 7B。

这些都得益于一个名为 llama.cpp 的新项目,该项目在 GitHub 上线三天,狂揽 4.6k star。

真·ChatGPT平替:无需显卡,MacBook、树莓派就能运转LLaMA

项目地址:https://github.com/ggerganov/llama.cpp

Georgi Gerganov 是资深的开源社区开发者,曾为 OpenAI 的 Whisper 自动语音识别模型开发 whisper.cpp。

这次,llama.cpp 项目的目标是在 MacBook 上使用 4-bit 量化胜利运转 LLaMA 模型,具体包括:

没有依赖项的普通 C/C++ 实行;

Apple silicon first-class citizen—— 通过 Arm Neon 和 Accelerate 框架;

AVX2 支持 x86 架构;

混合 F16 / F32 精度;

4-bit 量化支持;

在 CPU 上运转。

llama.cpp 让开发者在没有 GPU 的条件下也能运转 LLaMA 模型。项目发布后,很快就有开发者尝试在 MacBook 上运转 LLaMA,并胜利在 64GB M2 MacBook Pro 上运转了 LLaMA 7B 和 LLaMA 13B。

真·ChatGPT平替:无需显卡,MacBook、树莓派就能运转LLaMA

在 M2 MacBook 上运转 LLaMA 的方式:https://til.simonwillison.net/llms/llama-7b-m2

如果 M2 芯片 MacBook 这个条件还是有点高,没关系,M1 芯片的 MacBook 也可以。另一位开发者分享了借助 llama.cpp 在 M1 Mac 上运转 LLaMA 模型的方式。

真·ChatGPT平替:无需显卡,MacBook、树莓派就能运转LLaMA

在 M1 Mac 上运转 LLaMA 的方式:https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/

除了在 MacBook 上运转,还有开发者借助 llama.cpp 在 4GB RAM Raspberry Pi 4 上胜利运转了 LLaMA 7B 模型。Meta 首席 AI 科学家、图灵奖得主 Yann LeCun 也点赞转发了。

真·ChatGPT平替:无需显卡,MacBook、树莓派就能运转LLaMA

以上是 3 个在普通硬件设备上胜利运转 LLaMA 模型的例子,几位开发者都是借助 llama.cpp 实行的,可见 llama.cpp 项目的实用与强大。

看来,LLaMA 将在 Meta 和开源社区的共同努力下,成为众多开发者钻研大规模说话模型的入口。

给TA打赏
共{{data.count}}人
人已打赏
AI

科技巨头持续血拼:微软豪掷数亿造ChatGPT超算,google加急测试Big Bard

2023-3-14 14:14:00

AI

腾讯获国际信息检索畛域国际权威比赛两项冠军,展示AI大模型技术实力

2023-3-15 11:38:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索