Chrome已内置本地Gemini如何启用

Chrome内置了Gemini Nano AI，表现出色！

概要

Google在最新的 Chrome Canary 版本中引入了Gemini Nano支持。

该功能隐藏在两个Chrome标志后面，并需要 手动下载语言模型 。

Gemini Nano 完全离线运行 ，现代计算机上对 简单查询的响应时间不到一秒 。

Google的 Gemini Nano语言模型 足够小（见https://www.androidauthority.com/gemini-ai-google-pixel-3392146/），可以完全在 Pixel 8 上运行，但我们还没有看到很多它的使用案例。目前，该模型仅用于Gboard的 智能回复或Recorder应用中的AI生成摘要 等功能。

幸运的是，Google似乎在桌面端有 更 宏大的目标 ，目前已经开始在Chrome中测试Gemini Nano的集成。 这意味着你可以在浏览器中完全离线地与一个现代大型语言模型对话！

Gemini Nano for Chrome是在上个月刚刚宣布的，Google承诺很快会向开发者开放测试权限。几周前，在Chrome Canary的127版本中发现了这个功能，热心的开发者们已经创建了展示本地模型能力的网页应用。其中一个演示由Twitter/X用户Morten Just提供，他展示了Gemini Nano的快速响应能力。

视频显示Gemini Nano实时响应， 延迟时间在几百毫秒之内 。然而，开发者承认该演示是在 Apple Silicon M3 Max-powered Mac 上运行的，其性能比普通桌面要强得多。不过，即使是较慢的硬件也应该能够处理Gemini Nano，因为其响应速度比普通人类的响应时间还要快。

例如，我在配备AMD Ryzen 5600X CPU和Nvidia RTX 3060 Ti GPU的台式机上安装了Chrome Canary。这些是中端PC规格，但足以运行像Meta的 Llama 3 （见https://www.androidauthority.com/llama-3-vs-chatgpt-3448849/）这样的更大模型。

如何在Chrome中启用Gemini Nano

在Chrome Canary中启用几个功能标志后，我可以看到持续的互联网流量，表明浏览器已经开始下载模型。

Google目前没有提供与Gemini Nano聊天的界面，但Twitter用户Lightning Joyce开发了一个 开源网页应用 （见https://github.com/lightning-joyce/chromeai），你可以暂时使用它。表面上看，它就像其他聊天机器人一样，只是简化到了基本功能。只需加载页面，断开计算机的网络连接，然后你就可以测试Gemini Nano的离线性能。

在准备工作完成后，模型在我的系统上的表现如何？ 令人 震惊的好 ，几乎与上面的视频演示相当。

虽然速度本身并不惊人，因为我的硬件可以每秒输出50个标记（大约相当于每秒50个单词），处理Llama 3的响应。但关键是，Gemini Nano可以作为一个临时聊天机器人使用，并且由于其较小的体积，可以在更广泛的硬件上运行。

然而，我注意到，每当我输入诸如“写一篇文章…”或“Android的历史”这样的开放性提示时， Gemini Nano都会无法响应 。

每当这种情况发生时，我的计算机GPU使用率会飙升——几秒钟内达到90%的负载，然后恢复正常。这可能是网页应用中的一个错误，但请记住，Chrome中的Gemini Nano毕竟是一个 实验性功能 。该模型可以很好地处理单段回复。

好消息是，Gemini Nano 只会占用你GPU的2GB内存 （如果你的计算机没有独立显卡，则占用RAM）。即使有上述问题，Gemini Nano依然快速且可用。更不用说，它完全在Chrome中运行，可能比我们见过的任何其他离线语言模型都更易访问。

如果你想在自己的机器上使用Gemini Nano，请按照以下步骤操作：

安装Chrome Canary版本128或更高版本。

进入 chrome://flags 。