IT之家 10 月 9 日消息，科技媒体 NeoWin 昨日（10 月 8 日）发布博文，报道称微软正与 llama.cpp 和 GGUF 开源社区合作，在 Windows 11 系统上升级 Windows ML，实验性原生支持 GGUF 与 ONNX 格式模型推理，并推出 Windows ML Runtime API。

在 Windows 与 Surface 十月活动中，微软介绍了 Windows ML 的最新进展。Windows ML 是微软面向 Windows 11 的本地 AI 推理框架，开发者可在设备端运行 AI 模型，构建文本生成、语音识别等应用，并减少对特定硬件优化的依赖。

打开网易新闻 查看精彩图片

微软表示通过社区合作，开发者现可通过 llama.cpp 的实验性集成，从 Hugging Face 导入 GGUF 模型并直接在本地运行。在性能方面，微软还携手英伟达公司，向 llama.cpp 及相关性能优化贡献代码。

打开网易新闻 查看精彩图片

Windows ML 新增实验性 Windows 原生推理路径，可运行 ONNX 与 GGUF 两类模型。该路径正式名称为 Windows ML Runtime API，微软称其具备更高性能、更深的系统集成及更细粒度的控制能力。

IT之家注：GGUF 是一种常用于本地运行大语言模型的模型文件格式。开发者可从 Hugging Face 等平台获取 GGUF 模型，并通过 llama.cpp 等工具在个人电脑上加载与推理。

而 ONNX 是开放神经网络交换格式，用于在不同框架和硬件间迁移 AI 模型。ONNX Runtime 是其常用运行环境，可支持模型在 Windows 设备上的推理部署。

打开网易新闻 查看精彩图片

在 Windows ML Runtime API 支持下，微软同时推出 Text Generation API 与 Speech Recognition API，开发者可使用这两组接口构建文本生成与语音识别功能。

打开网易新闻 查看精彩图片

微软表示，ONNX Runtime API 仍获完整支持；未来针对 Windows 的优化将优先投向 Windows ML Runtime API。两种运行时均已包含在当前版本中，开发者可按熟悉程度选择迁移时机。