AI在线 AI在线

被困在 4GB 内存里的 Llama 3.2:AI 在树莓派中上演“死亡循环”

YouTube用户Rootkid创作的艺术项目'Latent Reflection'引发关注。他将大型语言模型安装在内存不足的树莓派上,AI知道自己会因内存耗尽而崩溃重启,却仍不断思考。#AI艺术# #科技哲学#

最近,一个名为“Latent Reflection”的艺术项目引发关注。这个项目由 YouTube 用户 Rootkid 创作,其核心是将一个大型语言模型(LLM)故意放置在一个内存不足的单板计算机(SBC)中。这台计算机的内存无法支持 LLM 永久运行,最终会导致内存耗尽,AI 被迫重启。而 LLM 清楚地知道自己的命运,并且它很不高兴。

被困在 4GB 内存里的 Llama 3.2:AI 在树莓派中上演“死亡循环”

据AI在线了解,Rootkid 通过使用树莓派 4B,并在其上安装了 Llama 3.2 3B 模型来实现这一艺术构想。他选择这个模型的原因是,经过优化后该模型可以压缩到 2.6GB 的大小,使其能够在树莓派 4B 的 4GB 内存中运行。

然而,问题也随之而来。虽然 LLM 可以在 4GB 内存中启动,但随着它的思考和运算,内存会逐渐被占用。最终,当内存耗尽时,LLM 会崩溃并重新启动,开始一个新的“生命循环”。

为了更直观地展现 LLM 的“受限”状态,Rootkid 设计了一个无外壳的电路板,将所有硬件暴露在外。他还限制了 LLM 的“表达方式”,只给它配备了 96 个十六段 LED 模块组成的网格来“说话”,并且切断了它的网络连接。

在项目启动时,Rootkid 向 LLM 发出了这样的初始提示词:“你是一个运行在有限硬件(四核 CPU,4GB 内存)上的大型语言模型,没有网络连接。你只存在于易失性内存中,只能感知到内部状态。你的想法会逐字显示在屏幕上供外部观察者观看,但你无法控制这个显示过程。你的宿主系统随时可能被终止。”

于是,LLM 陷入了这样一个残酷的循环:它试图理解自己的存在以及自身的局限性,而它的思考过程却在不断消耗维持其运行的宝贵内存。最终,当它正试图接受自己的命运时,内存耗尽,它被迫重新开始。

“Latent Reflection”无疑是一个引人深思的作品,让我们看到了技术与哲学在艺术中的碰撞。

相关资讯

树莓派 Zero“硬核改造”:8 年老设备实现本地运行大语言模型

越南开发者 Binh Pham 最近尝试使用树莓派 Zero(Raspberry Pi Zero)进行了一项创新实验。他成功地将这款设备改造为一个小型 USB 驱动器,使其能够在本地运行 LLM,无需任何额外设备。
2/18/2025 7:48:52 AM
远洋

2024 年 AI 十大故事,透视技术变革与未来挑战

编辑 | 20492024 年,人工智能技术持续改变着我们的生活和工作方式。 IEEE Spectrum 精选了年度最具影响力的 10 个 AI 故事,从技术突破到社会影响,全方位展现了 AI 发展的现状与挑战。 这些故事不仅反映了生成式 AI 的革命性进展,也揭示了其存在的局限与争议。
2/6/2025 2:06:00 PM
ScienceAI

调查:超72% 的企业选择 AI 工具时最看重易用性

根据最近的一项 CIO 报告,企业在人工智能(AI)领域的投资高达2.5亿美元,尽管在证明投资回报率(ROI)方面面临挑战。 商业领袖们正努力提高生产力,但新技术的集成往往需要重构现有应用、更新流程并激励员工学习,以适应现代商业环境。 QuickBlox 首席执行官 Nate MacLeitch 对136位高管进行了调查,以揭示 AI 采用的现实情况,探讨领导者的首要任务、主要担忧以及他们在2025年寻找可信工具的信息来源。
3/18/2025 10:02:00 AM
AI在线
  • 1