Chrome 版本内置 Gemini Nano LLM 配置使用
status
Published
type
Post
slug
config-gemini-nano-llm-model-on-chrome-127-or-higher
date
Jul 24, 2024
tags
Share
Chrome
Config
AI
summary
Chrome 127 版本内置了名为 Gemini Nano 的 AI 大语言模型，用户需通过启用特定的 Chrome flags、下载模型并测试其功能。配置步骤包括在地址栏输入特定链接以启用 Prompt API 和优化指南，下载模型后可通过控制台测试其功能。若遇到问题，建议检查语言设置或参考 Google 文档以获取详细指导。此外，推荐使用 Elmo 和 Chrome Built-In AI Gemini Nano 测试页面作为扩展工具。
今天将 Chrome 浏览器升级到了 127 版本，根据此前 Canary 渠道的版本信息，此版本中是内置了名为
Gemini Nano 的 AI 大语言模型(4bit 3.25B)，该模型为本地模型，无需网络即可使用。下面来尝试配置测试一下这个大语言模型：
- 启用相应 Chrome flag
- 在浏览器地址栏输入并打开
chrome://flags/#prompt-api-for-gemini-nano，将 Prompt API for Gemini Nano 更改为 Enabled。 - 打开
chrome://flags/#optimization-guide-on-device-model，将 Enables optimization guide on device 设置为 Enable BypassPerfRequirement。 - 完成以上两步设置后重启 Chrome。
- 下载模型
- 打开
chrome://components/，检查 Optimization Guide On Device Model 中模型是否成功下载，点击 Check for update
- 测试模型
- 打开控制台，输入
window.ai测试是否能有返回结果，也可以用下面的完整代码测试：
注：如果 Optimization Guide On Device Model 没有出现，请检查以下情形
- 语言是不是 English US
- Enables optimization guide on device 是设置的 Enable，而不是 Enable BypassPerfRequirement，修改后重启一下就可以了
参考文档
如果上述步骤操作后无法成功，请参考如下 Google 文档，内容更为详尽
相关扩展
当成功启用 Gemini Nano 本地模型后，我们总不可能一直在控制台中通过代码来使用，下面推荐两个
