谷歌开源的本地大模型 Google AI Edge Gallery 使用指南

Google AI Edge Gallery 把前沿生成式AI模型的能力直接交到用户手中，可在安卓设备上完全本地运行（iOS版本即将推出），模型加载后无需互联网连接，能尝试不同模型、聊天、用图片提问、探索提示词等。

Gallery有多个模型可供选择，比如 Gemma3 - 1B - IT q4，这是 google/Gemma - 3 - 1B - IT 的4位量化版本，可通过 MediaPipe LLM Inference API 在安卓设备上部署，最大令牌数为1024，有 Hammer2.1 - 1.5b q8，大小约1.6GB，Qwen2.5 - 1.5B - lnstruct q8，大小约1.6GB等。

Ask Image（图像转文本）

• 从主屏幕点击“Ask Image”。

• 选择兼容的多模态模型（如 Gemma 3N，若未下载需先下载）。

• （可选）调整推理参数。

• 点击“+”从设备图库选择图片或拍照（需相机/存储权限）。

• 选图后添加文本提示（如“这张图里有什么”“帮我解这道数学题”），然后点击“发送”。

• 查看输出，可复制或查看性能统计数据。

Prompt Lab（单轮任务）

• 从主屏幕点击“Prompt Lab”。

• 选择模型（未下载需先下载）。

• 从可用选项中选择任务模板：

自由提示：输入对模型的任何指令。
文本总结：提供要总结的文本。
改写语气：输入文本，选择目标语气（如正式、随意）。
代码片段：描述想要的代码功能，选择语言。

• 输入文本或从示例提示中选择。

• （可选）调整推理参数。

• 点击“发送/生成”按钮。

• 查看输出，复制查看性能统计数据。

AI Chat（多轮对话）

• 从主屏幕点击“AI Chat”。

• 选择模型（未下载需先下载）。

• 在输入框中输入消息然后发送。

• 模型会响应并保持对话上下文。

• （可选）调整推理参数。

• 可查看每轮的性能统计数据。

其他功能

• 本地运行，完全离线：无需互联网连接，所有处理直接在设备上进行。

• 选择模型：可轻松在来自 Hugging Face 的不同模型间切换然后比较性能。

• 性能洞察：实时获取基准数据（首令牌时间、解码速度、延迟）。

• 导入自己的模型：测试本地的 LiteRT .task 模型。

• 开发者资源：可快速访问模型卡片和源代码。

• Google AI Edge：用于设备端机器学习的核心API和工具。

• LiteRT：轻量级运行时，用于优化模型执行。

• LLM Inference API：为设备端大型语言模型提供动力。

• Hugging Face集成：便于发现和下载模型。

Gallery下载安装

下载APK

获取最新的APK，可查看发布页面获取更多版本。

安装说明

方法1：直接安装（最简单）

1、APK下载到设备后（如“下载”文件夹），打开设备的文件管理器。

2、找到点击下载的.apk文件。

3、可能会提示允许从“未知来源”安装，若如此，启用此权限（通常在设备设置的“安全”或“应用”下，系统会引导操作）。

4、确认安装。

方法2：通过ADB安装

此方法需要ADB且设备启用USB调试。

1、启用开发者选项和USB调试：

• 在安卓设备上，进入“设置”>“关于手机”。

• 多次点击“版本号”（通常7次），直到看到“你现在是开发者！”的消息。

• 返回“设置”>“系统”>“开发者选项”（位置可能因安卓版本/制造商略有不同）。

• 启用开发者选项（若未启用）。

• 启用USB调试。

2、连接设备：用USB线将安卓设备连接到电脑。

3、使用ADB安装：

• 在电脑上打开终端或命令提示符。

• 导航到下载APK文件的目录。

• 运行命令：adb install -t ai-edge-gallery.apk，-t标志允许测试适用于比设备更新平台版本的APK。