Meta发布了新的端侧AI模型Muse Glimmer,参数量高达300亿,可完全在Mac或PC上本地运行,无需连接云端。该模型主打智能体AI,能够编写代码、调用工具、处理多步骤任务,并能从错误中恢复。目前模型已上架Hugging Face,主流本地AI工具的支持即将到来。

传统云端AI模型虽然性能强大,但依赖互联网连接,用户每次请求都需要将数据发送到服务器,再等待结果返回。Muse Glimmer这类纯端侧模型不仅摆脱了网络限制,也避免了查询数据上传云端带来的隐私担忧。

实际上,Muse Glimmer并非第一个脱离云端的模型。Google的Gemini Nano、Gemma 4,微软的Phi-4-mini,以及Meta自家的Llama 3都可以本地运行。不过,这些模型相对轻量,更擅长简单任务;Muse Glimmer则专门聚焦智能体AI,这也是它在端侧运行的价值所在。

需要注意的是,Muse Glimmer本身并不算轻量,300亿参数规模明显大于常见端侧模型。如何在个人电脑上高效运行如此大的模型,是其技术挑战之一。

随着Hugging Face开放下载以及后续本地工具支持的落地,Muse Glimmer有望让更多开发者和用户在个人电脑上体验完整的智能体AI能力。