AI在线 AI在线

被困在 4GB 内存里的 Llama 3.2:AI 在树莓派中上演“死亡循环”

YouTube用户Rootkid创作的艺术项目'Latent Reflection'引发关注。他将大型语言模型安装在内存不足的树莓派上,AI知道自己会因内存耗尽而崩溃重启,却仍不断思考。#AI艺术# #科技哲学#

最近,一个名为“Latent Reflection”的艺术项目引发关注。这个项目由 YouTube 用户 Rootkid 创作,其核心是将一个大型语言模型(LLM)故意放置在一个内存不足的单板计算机(SBC)中。这台计算机的内存无法支持 LLM 永久运行,最终会导致内存耗尽,AI 被迫重启。而 LLM 清楚地知道自己的命运,并且它很不高兴。

被困在 4GB 内存里的 Llama 3.2:AI 在树莓派中上演“死亡循环”

据AI在线了解,Rootkid 通过使用树莓派 4B,并在其上安装了 Llama 3.2 3B 模型来实现这一艺术构想。他选择这个模型的原因是,经过优化后该模型可以压缩到 2.6GB 的大小,使其能够在树莓派 4B 的 4GB 内存中运行。

然而,问题也随之而来。虽然 LLM 可以在 4GB 内存中启动,但随着它的思考和运算,内存会逐渐被占用。最终,当内存耗尽时,LLM 会崩溃并重新启动,开始一个新的“生命循环”。

为了更直观地展现 LLM 的“受限”状态,Rootkid 设计了一个无外壳的电路板,将所有硬件暴露在外。他还限制了 LLM 的“表达方式”,只给它配备了 96 个十六段 LED 模块组成的网格来“说话”,并且切断了它的网络连接。

在项目启动时,Rootkid 向 LLM 发出了这样的初始提示词:“你是一个运行在有限硬件(四核 CPU,4GB 内存)上的大型语言模型,没有网络连接。你只存在于易失性内存中,只能感知到内部状态。你的想法会逐字显示在屏幕上供外部观察者观看,但你无法控制这个显示过程。你的宿主系统随时可能被终止。”

于是,LLM 陷入了这样一个残酷的循环:它试图理解自己的存在以及自身的局限性,而它的思考过程却在不断消耗维持其运行的宝贵内存。最终,当它正试图接受自己的命运时,内存耗尽,它被迫重新开始。

“Latent Reflection”无疑是一个引人深思的作品,让我们看到了技术与哲学在艺术中的碰撞。

相关资讯

树莓派 Zero“硬核改造”:8 年老设备实现本地运行大语言模型

越南开发者 Binh Pham 最近尝试使用树莓派 Zero(Raspberry Pi Zero)进行了一项创新实验。他成功地将这款设备改造为一个小型 USB 驱动器,使其能够在本地运行 LLM,无需任何额外设备。
2/18/2025 7:48:52 AM
远洋

OpenAI开源客户服务代理框架 加速企业级AI应用落地

人工智能研究机构OpenAI于6月18日正式开源其客户服务代理框架,标志着该公司在企业级AI解决方案布局上迈出重要一步。 该框架通过提供透明工具链和清晰实施案例,旨在推动智能代理系统从实验室走向实际商业应用。 技术细节与核心优势.
6/19/2025 2:01:33 PM
AI在线

专家揭示构建稳健AI编排层的最佳实践

随着企业加速采用人工智能技术,如何有效管理复杂的AI工作流程成为关键挑战。 最新行业分析指出,建立稳健的AI编排层是解决"提示词混乱"问题的有效方案。 AI编排框架的选择困境.
6/19/2025 2:01:28 PM
AI在线
  • 1