使用谷歌的最新应用程序，免费本地运行LLM

译者 | 布加迪

审校 | 重楼

谷歌的Edge Gallery刚刚让AI界迎来了巨大飞跃。就在上周，谷歌悄然发布了AI Edge Gallery，这是一款普及AI的应用程序。谷歌Edge AI可以直接在我们的智能手机上执行强大的语言模型，摆脱依赖云的局面，而且不收订阅费。

这为完全私有、可访问的AI开启了曙光。除了方便因素外，这个版本还具有更大的意义。本地AI处理颠覆了用户授权和控制的核心原则。你的设备将继续充当一个强大的AI工作站，而不损害个人隐私或数据安全。

Edge Gallery简介

谷歌AI Edge Gallery是一个实验性的应用程序，可以彻底改变安卓手机。该应用程序充当了连接用户和Hugging Face模型的桥梁。它允许直接下载和本地执行生成式AI模型。这个助手会一直陪着你，完全在你的掌控之内。

这个平台消除了用户与最好的AI技术之间的传统壁垒。谁需要技术诀窍来掌握语言模型功能？你可以通过一个易于导航的用户界面轻松管理复杂的模型切换处理，这样用户可以在不需要任何外部帮助或遇到限制的情况下尝试和测试各种AI模型。

简而言之，谷歌旨在利用Edge Gallery使AI惠及全球任何地方的每个人。实验版可以实现快速创新和整合用户反馈。新的更新版提供了额外的功能和更好的兼容性模型。

Edge Gallery的主要功能

Edge Gallery的主要功能如下：

• 完全离线功能：最重要的功能是，安装后，它完全独立于任何形式的连接。一旦下载了模型，你的设备就成了独立的实体。所有AI处理都在本地进行，没有数据发送到外部服务器。
• 访问广泛的模型库：谷歌Edge Gallery直接连接到Hugging Face庞大的模型库，所以用户可以轻松比较和下载适合他们任务的模型。该平台可以执行文本生成、图像分析和代码辅助。由于允许切换模型，该平台鼓励尝试AI界现有的不同方法和功能。
• 对用户友好的体验设计：该应用程序拥有用户熟悉的干净的消息类型界面。凭借AI所能提供的所有功能，导航做得相当简单。模型管理、设置和对话都融入在整个设计中。该平台的设计使非技术人员也能一开始就可以有效地使用它。
• 最大限度地保护隐私：由于一切都在本地处理，任何数据泄露或未经授权访问这一威胁被消除了。你的对话内容永远不会进入到任何外部服务器，也不会进入到任何第三方数据库。完全私密的信息始终由用户独自控制。因此，它声称能够提供比大多数基于云的AI服务更好的隐私保护。

本地运行LLM的好处

市场上有很多LLM可用，但这个应用程序之所以脱颖而出，是由于它允许我们在本地运行LLM，还能以离线方式运行。以下是本地运行LLM的一些好处：

• 不妥协的数据隐私：本地执行消除了个人信息离开设备边界的隐患。因此，在敏感的谈话中所说的话、文件中的细节、研究查询或信息都是完全私密和受保护的。因此，处理的数据无法被企业间谍活动或政府监视所获取。你的数据完全由你保管，不依赖任何第三方。
• 大幅降低成本：由于在本地运行模型，因此消除了所有订阅费用和基于付费的定价。此后，下载的模型将为你工作，不必考虑任何后续成本或付费。它实际上意味着无限制地使用AI，根本不必担心财力限制。
• 性能独立性和可靠性：互联网连接问题不会中断你的AI工作流程或任务。无论网络的复杂性如何，性能保持持续性，以实现可靠的AI辅助。决定响应有多快的是设备端处理能力，而不是连接的质量。
• 无限创作自由：可以针对不同的任务尝试模型，不用担心使用方面的限制。本地执行便于无限的创造力和没有障碍的搜索。用户可以在没有其他人监视或过滤其内容的情况下突破界限。

如何开始上手Edge Gallery？

下面是开始尝试Edge Gallery的步骤。通过这些步骤，你可以在青睐的系统中设置该应用程序，立即开始尝试。

第1步：检查系统需求

目前，该应用程序支持处理能力相当强的安卓设备。建议最小内存为4GB，确保模型运行顺畅和稳定。至少要有8GB的闲置空间，用于存储下载的内容。搭载64位处理器的现代智能手机可以提供理想的用户满意度。

第2步：检查你的设备是否受到支持

版本8或以上的安卓手机被认为完全兼容。来自知名厂商的旗舰设备提供了最佳的性能和稳定性。中端硬件配置的平板电脑也可以很好地运行该应用程序。设备的兼容性完全取决于RAM可用性和处理能力。

第3步：安装和设置过程

从官方来源或授权的应用商店下载APK文件。该应用程序将需要从未知来源安装，所以进入到你的安全设置并打开它。在初始阶段，设置和配置还需要开发人员选项。

授予顺利运行应用程序和管理模型所需的所有权限。继续使用安装向导，以顺利完成安装过程。初始安装过程视设备性能而定，通常需要5 ~ 10分钟。第一次模型下载可能需要一些时间，长短取决于模型。

探索Edge Gallery的App界面

安装Edge Gallery App后，你会看到一个界面，不妨看看我们可以使用它的一些功能来做些什么：

主仪表板导航

主界面展示了现有功能的分类视图，比如图像询问、提示实验室和AI聊天。在这些功能下面，模型类别带有一个标签，以便用户快速访问和选择它们。下载状态和模型状态出现在主仪表板上。

快速操作按钮便于立即访问已搜索的AI模型。存储使用指标帮助用户跟踪了解设备上的空间。设置的快捷方式也有助于轻松导航到所有定制选项和首选项。仪表板还根据用户和模型活动动态更新。

模型浏览和选择

正如你在界面中看到，每项功能都有三到四种类型的模型供你选择。过滤选项有助于根据模型大小、功能和需求缩小范围。模型描述提供了有关能力和性能特征的详细信息。预览功能允许用户在下载模型以使用本地存储空间之前测试模型。

你还可以看到评分和社区反馈，这有助于用户决定他们可以选择的模型。流行模型高亮显示，以帮助用户找到最常用的模型。高级过滤选项允许用户精确匹配模型，以满足其需求。

交互式聊天界面

为了方便，它有一个用户熟悉的对话界面，可以从任何商业消息应用程序切入。它支持输入问题、图像上传和多回合对话，并在用户输入时实时生成响应。上下文保存提供了多路交换和会话流，从而保持了会话的连续性。

它允许在会话期间进行模型切换，这可以用于比较和测试目的。聊天历史记录保存在本地机器上，以供参考、保持连贯性。导出对话可以保存重要的聊天内容和AI显示的内容。它还支持语音输入，以便与AI模型进行免提交互。

综合设置管理

它通过接口提供定制的模型参数、与性能相关的和与应用程序相关的首选项。你可以使用提供的控件管理下载的模型存储、使用和更新首选项。高级用户可以访问进一步的定制，以调整模型行为及其响应特征。

隐私设置保证了数据处理符合个人要求和标准。它还有面向性能的设置，以便兼顾快速和电池使用电量。模型和应用程序的更新可以自动管理。

使用Edge Gallery上手处理任务

关于Edge Gallery我们已经谈了很多，现在看看它是如何运行的。使用其突出功能的任务如下：

任务1：使用Ask Image提取文档文本

该任务演示了Edge Gallery的离线功能如何在提供上下文提示时帮助图像分析。

• 打开Edge Gallery中的Ask Image功能。
• 下载你青睐的模型。
• 就这项任务而言，我们将下载“Gemma-2n-E2B-it-int4”。
• 下载后，点击“试用”。
• 给任何手写的便条、收据或打印文件拍一张清晰的照片。
• 将图像上传到选定的视觉模型。
• 输入提示“Extract all text from the image and summarize the key information”（从图像中提取所有文本，并总结关键信息）。
• 然后，当AI花时间处理图像并提供适当的响应时，如果你对响应不满意，可以通过提供详细的反馈要求AI做得更好。
• 你可以问一个后续问题：“What are the main points given in the document/Image?”（文档/图像中给出的要点是什么？）
• 若要测试离线功能，你可以断开互联网，然后问这些问题。
• 保存结果，供将来参考。

任务2：使用Prompt Lab重写专业的电子邮件

该任务演示了Edge Gallery如何在完全离线的情况下支持撰写专业的电子邮件或为我们的问题/提示提供结果。

• 从仪表板上的三个选项中选择Prompt Lab选项。
• 从可用的选项中选择你青睐的文本生成模型，并下载它。
• 就我们的任务而言，我们将从四个选项：“Gemma-3n-E2B-it-int4”、“Gemma-3n-E4B-it-int4”、“Gemma3-1B-IT-q4”和“Qwen2.5-1.5B-Instruct q8”中选择“Gemma-3n-E2B-it-int4”。
• 下载模型后，点击“试用”。
• 写一个简单的非正式的电子邮件草稿（比如“嘿，你能把那份报告发给我吗？谢谢。”）
• 提示：“Rewrite this email in a professional, polite tone: [paste your draft].”（用专业、礼貌的语气重写这封电子邮件：[粘贴草稿]。）
• 生成响应并进行分析。如果你对响应不满意，可以要求它以一种更好、更有条理的方式确定其格式。
• 你可以尝试输入提示：“Make it more formal and add a proper subject line suggestion.”（让邮件更正式，并添加适当的主题行建议。）
• 选择另一个模型，并输入相同的提示，比较结果。
• 使用导出功能来存储最佳版本。

Edge Gallery的优点

以下是使用谷歌Edge Gallery具有的一些优点：

• 革命性的隐私保护：它提供数据主权，这意味着信息永远不会离开设备边界。企业和政府监视从技术上来说无法窥视本地处理的信息。
• 零持续运营成本：安装后没有订阅费用、上下文限制或隐性成本。随着时间的推移，用户可以无限制地使用AI功能，无需承担任何额外的成本。
• 完全独立于网络：即使在连接或覆盖条件很差的环境下也能保持工作效率。这意味着与飞机模式兼容，即在旅行过程中，将在全球范围内提供不间断的AI帮助。
• 模型的多样性和灵活性：允许访问数以千计的Hugging Face模型以处理不同的任务。根据每个特定任务的要求或用户青睐某个模型时，可以轻松切换模型。

Edge Gallery的局限性

每当新模型发布，相比现有模型会有很多优点，但也有一些局限性。以下是Edge Gallery的一些局限性：

• 依赖硬件性能：由于AI处理很耗电，旧款智能手机不再有机会。较低的处理能力意味着较慢的响应时间，并严重影响用户的体验。
• 需要庞大的存储空间：语言模型需要设备端有足够的存储空间。小设备上可用的存储空间很快会被多个模型消耗掉。因此，用户必须有意识地分配存储空间以获得最佳性能。
• 模型兼容性受限制：并非每个Hugging Face模型都与移动平台兼容。有些需要的资源比智能手机实际提供的要多。与基于云的AI服务相比，提供的模型数量有限。
• 平台可用性受限制：目前仅限于安卓，iOS版即将推出，苹果用户必须等待iOS版本的正式发布日期。到目前为止，官方还没有确定iOS应用程序的发布时间。
• 响应缓慢：由于模型在CPU上运行，与LLM相比，它在提供对提示的响应方面花费大量时间。

与其他最新本地LLM选项的比较

不妨比较如今市面上一些最流行的、最新颖的本地LLM。这些平台允许用户直接在其设备上运行强大的LLM，但是它们的功能因平台而异。

结语

谷歌Edge Gallery在确保AI更具安全意识方面迎来了重大转变。这款实验性应用程序将切实可行的生成式AI生成功能提供给了用户。其方法既能保护用户的隐私，又能为他们提供最先进的AI。本地处理消除了传统上在用户与先进技术之间形成的障碍。

虽然存在设备兼容性和模型选择方面的限制，但基于价值的优点掩盖了这些缺点。这种注重隐私的免费解决方案使每个人都能访问先进的AI。它对教育部门、研究人员和注重隐私的用户都特别有用。这种方法意味着发展中地区可以平等地享用AI技术和基础设施。

原文标题：Run LLMs Locally for Free Using Google’s Latest App!，作者：Riya Bansal