AI智能体正在从云端走向PC本地,而要真正跑起来,光有模型不够,硬件和应用还得接上头。11月19日AMD发布官方博客,宣布与微调工具厂商Unsloth合作,为Unsloth Desktop带来NPU支持,基于XDNA 2架构的AMD NPU由此成为全球首个被该应用支持的NPU。
这套合作由Lemonade与FastFlowLM(FLM)两个推理框架搭桥:Unsloth Desktop管界面和模型管理,Lemonade和FLM负责把推理送进XDNA 2 NPU。Unsloth Desktop还提供兼容OpenAI规范的API端点,Open WebUI、Cline、VS Code等超过100款智能体应用和工作流都能把请求指向本地NPU,不用等每款软件单独做适配。
能效是AMD强调的另一重点。XDNA 2 NPU本就为低功耗AI推理设计,负载从CPU/GPU挪到NPU后,其余算力可以留给别的应用,笔记本续航也更长,不插电源一样能挂着低功耗的常驻智能体干活。
AMD还演示了Qwen3.6 MoE模型在AMD NPU上的实时推理,总参数量350亿。代价是挺吃内存:Qwen 3.6 35B A3B跑全上下文,NPU大约需要28GB可用内存,按Windows默认把一半内存划作共享显存的策略,整机得配64GB才稳妥。操作倒不难,装好Unsloth Desktop后在模型中心筛选NPU、点击启用、下载模型就行,前提是你有一台带XDNA 2 NPU的AMD机器。
Unsloth本身覆盖模型开发与部署,开源工具用于加速微调并降低GPU显存占用,桌面应用则支持免写代码完成训练和推理。AMD NPU支持把这条链路从CPU、GPU执行扩展到NPU执行,给用户多了一个低功耗的推理选项。AMD表示,这套集成延续了其扩展和优化软件支持的工作,目的是让更多常用工具用上专用NPU加速。
热门跟贴