HK's note ✨ Chrome 版本内置 Gemini Nano LLM 配置使用

status

Published

type

Post

slug

config-gemini-nano-llm-model-on-chrome-127-or-higher

date

Jul 24, 2024

tags

Chrome

Config

summary

Chrome 127 版本内置了名为 Gemini Nano 的 AI 大语言模型，用户需通过启用特定的 Chrome flags、下载模型并测试其功能。配置步骤包括在地址栏输入特定链接以启用 Prompt API 和优化指南，下载模型后可通过控制台测试其功能。若遇到问题，建议检查语言设置或参考 Google 文档以获取详细指导。此外，推荐使用 Elmo 和 Chrome Built-In AI Gemini Nano 测试页面作为扩展工具。

今天将 Chrome 浏览器升级到了 127 版本，根据此前 Canary 渠道的版本信息，此版本中是内置了名为 Gemini Nano 的 AI 大语言模型(4bit 3.25B)，该模型为本地模型，无需网络即可使用。

下面来尝试配置测试一下这个大语言模型：

启用相应 Chrome flag

在浏览器地址栏输入并打开 chrome://flags/#prompt-api-for-gemini-nano，将 Prompt API for Gemini Nano 更改为 Enabled。

打开 chrome://flags/#optimization-guide-on-device-model ，将 Enables optimization guide on device 设置为 Enable BypassPerfRequirement。

完成以上两步设置后重启 Chrome。

下载模型

打开 chrome://components/，检查 Optimization Guide On Device Model 中模型是否成功下载，点击 Check for update

测试模型

打开控制台，输入window.ai测试是否能有返回结果，也可以用下面的完整代码测试：


const canCreate = await window.ai.canCreateGenericSession()

if (canCreate !== "no") {
    const session = await window.ai.createTextSession();
    const stream = session.promptStreaming("Tell me a joke!")
    for await (const chunk of stream) {
        console.log(chunk)
    }
    session.destroy()
} else {
    console.error(" can't create generic session", canCreate)
}

注：如果 Optimization Guide On Device Model 没有出现，请检查以下情形