Meta Platforms Inc.今日正式发布了一款名为Muse Glimmer的开源语言模型，该模型拥有300亿参数，却能够直接在个人电脑上运行，这一突破性进展引发了业界广泛关注。

与此同时，Meta首席执行官马克·扎克伯格还发布了一篇长文，深入探讨了人工智能的风险、开源模型监管以及多个相关话题，为这次模型发布增添了更多政策层面的讨论。

打开网易新闻 查看精彩图片

通常情况下，一个拥有300亿参数的模型运行时大约需要55GB的内存。然而，Meta的工程师们通过多种优化技术，成功将其内存占用压缩至20GB以下。这意味着用户只需要一台配备消费级显卡的个人电脑或Mac，就能本地运行这一大规模模型，无需依赖云端服务器。

其中一种关键优化方法被称为“量化”。Meta将模型中的每个权重——即决定其如何处理数据的配置参数——压缩至4比特。根据公司的评估，这种量化处理对模型在“智能体任务”上的表现几乎没有造成任何性能损失，偏差极小。

Muse Glimmer在生成回答时采用了两阶段流程：首先，由一个较为简单的“草稿”模型生成初步答案；随后，主模型会验证草稿答案的准确性，进行优化并输出最终回复。这种被称为“推测解码”的技术，比让Muse Spark单独直接生成回答要高效得多。

在训练方面，Meta使用了其旗舰级专有AI模型Muse Spark系列生成的数据来训练Muse Glimmer。随后，团队还进行了两轮额外的训练：第一轮增强了模型处理长提示词和复杂推理任务的能力；第二轮则专门优化了Muse Glimmer在驱动AI智能体时的表现。

值得注意的是，许多模型在处理提示词时一旦遇到障碍就会停止运行。而Meta表示，其工程师训练了Muse Glimmer，使其能够在首次尝试失败后自动重试任务。用户还可以自主调整模型在执行任务时投入的时间与计算资源，从而在性能与效率之间取得灵活平衡。