虽然相比于 ChatGPT 等需要大量算力资源的超大规模的说话模型，单张显卡的要求已经很低了，但还能更低！最近有开发者实行了在 MacBook 上运转 LLaMA，还有开发者胜利在 4GB RAM 的树莓派上运转了 LLaMA 7B。
这些都得益于一个名为 llama.cpp 的新项目，该项目在 GitHub 上线三天，狂揽 4.6k star。
项目地址：https://github.com/ggerganov/llama.cpp
Georgi Gerganov 是资深的开源社区开发者，曾为 OpenAI 的 Whisper 自动语音识别模型开发 whisper.cpp。
这次，llama.cpp 项目的目标是在 MacBook 上使用 4-bit 量化胜利运转 LLaMA 模型，具体包括：
没有依赖项的普通 C/C++ 实行；
Apple silicon first-class citizen—— 通过 Arm Neon 和 Accelerate 框架；
AVX2 支持 x86 架构；
混合 F16 / F32 精度；
4-bit 量化支持；
在 CPU 上运转。
llama.cpp 让开发者在没有 GPU 的条件下也能运转 LLaMA 模型。项目发布后，很快就有开发者尝试在 MacBook 上运转 LLaMA，并胜利在 64GB M2 MacBook Pro 上运转了 LLaMA 7B 和 LLaMA 13B。
在 M2 MacBook 上运转 LLaMA 的方式：https://til.simonwillison.net/llms/llama-7b-m2
如果 M2 芯片 MacBook 这个条件还是有点高，没关系，M1 芯片的 MacBook 也可以。另一位开发者分享了借助 llama.cpp 在 M1 Mac 上运转 LLaMA 模型的方式。
在 M1 Mac 上运转 LLaMA 的方式：https://dev.l1x.be/posts/2023/03/12/using-llama-with-m1-mac/
除了在 MacBook 上运转，还有开发者借助 llama.cpp 在 4GB RAM Raspberry Pi 4 上胜利运转了 LLaMA 7B 模型。Meta 首席 AI 科学家、图灵奖得主 Yann LeCun 也点赞转发了。
以上是 3 个在普通硬件设备上胜利运转 LLaMA 模型的例子，几位开发者都是借助 llama.cpp 实行的，可见 llama.cpp 项目的实用与强大。
看来，LLaMA 将在 Meta 和开源社区的共同努力下，成为众多开发者钻研大规模说话模型的入口。