如果你曾因为切换AI加速卡而要重写整套推理服务,法国团队ZML递来一个免费急救包。这家热门初创公司刚刚开源了一款轻量级LLM推理服务器,名叫LLMD,专门用来在不同品牌的AI芯片上高效运行大模型,而且不收费。
产品逻辑直指一个老痛点——厂商锁定。过去企业选了某家GPU后,推理栈往往被深度绑定,想换硬件就得改动大量底层代码,时间和金钱成本高得劝退。LLMD的出现正是要打破这种“人-卡”强依赖。它抽象出一层跨架构兼容层,让同一个模型能在NVIDIA、AMD、Intel乃至各类新兴加速卡上直接推演,无需开发者反复适配。根据ZML的说法,性能优化也一并打包,不因跨平台而打折。
打开网易新闻 查看精彩图片
免费属性还降低了尝鲜门槛。团队里哪怕只有一张小众AI卡,现在也能用上大模型推理,不用先掏预算买全家桶。对算力成本敏感的中小团队来说,这份“自由切换”的甜头,可能比性能数字更抓人。
回到日常:下次再听到“我们要换芯片方案了”,或许就不用熬夜改代码了。ZML用一款免费工具,轻轻推了一下行业——推理基础设施,该从芯片的绑定里长出自己的腿了。
热门跟贴