“咱们的HomeLab用的是AMD CPU吧?那Lemonade简直就是天生绝配,AMD自家的本地AI服务器,完美!”同事的这句话,听起来逻辑满分。我也曾抱着一丝“白嫖”集成方案的期待,在阴雨绵绵的科德角午后,点开了Lemonade的文档——结果,这台跑着AMD Ryzen 9 9950X3D和NVIDIA RTX 5090的AI-NT-No-Problem机器,沉默地告诉我:对不起,是真不配。
今天不搞硬件,不跑新基准,只做一件事:扒一扒最近冒出来的两个HomeLab AI工具,看看它们能不能无缝塞进我的现实环境。核心概念很简单——工具到底适不适合,不看Logo和商标,得看实际通路。
先上结论:一个工具,像乐高积木怼上就亮;另一个,写满了“需要特定CPU/APU来解锁技能”。下面就这种“一图读懂”式的思路拆一拆。
先说最让我舒坦的那个:llama-benchy。在llama.cpp生态里,大家早习惯用llama-bench测出不同上下文深度下的提示处理(pp)和token生成(tg)速度。但llama-bench只能对接llama.cpp本体,而我们日常跑着OpenClaw和Discord机器人的生产端点,是标准的OpenAI兼容接口,原生llama-bench根本测不到真实现场数据。vLLM自带的测试工具又容易受前缀缓存的干扰,测不出干净的多上下文性能。llama-benchy就干了这么一件事:它把llama-bench式精准指标搬到了任何OpenAI兼容端点上,不动一句基础设施,直接指向本地http://localhost:8080/v1就能得到pp/tg-at-depth数据。而且它还支持并发冲刷,能自动找到吞吐量不再随负载增加的饱和点。对我来说,这工具没有任何纠结的必要,属于即插即用的铁饭碗。
然而,轮到Lemonade Server时,气氛就变得微妙起来。Lemonade被包装成一个统一的OpenAI/Anthropic/Ollama兼容端点,底下编排了llama.cpp、FastFlowLM(NPU)、whisper.cpp、stable-diffusion.cpp、Kokoro等一堆引擎,头条特性是“混合执行”——提示处理交给Ryzen AI NPU,token生成放到集成显卡上,听着就像AMD版的AI瑞士军刀。可一旦扒开“AMD”三个字母下面的细则,所有美好都加了硬件限定符。
Lemonade的真正价值,几乎全押在Ryzen AI 300/400系列(Strix Halo)所搭载的XDNA2 NPU之上。你用一块普通的AMD桌面CPU,哪怕再旗舰,再插一块独立显卡,都吃不到半点NPU红利。官方留了一条ROCm/Vulkan的GPU降级路径,但走到那一步,你相当于是在llama.cpp外面多包了一层抽象,原本可以直接调优的参数反而被隔开了。我的AI-NT-No-Problem用的是Ryzen 9 9950X3D桌面CPU——它不是Ryzen AI品牌的移动/APU芯片;GPU又是基于CUDA 13.1的RTX 5090,所以那个“混合执行”对我来说就像橱窗里的蛋糕,看着高级,但摸不着。除非我把RTX 5090拔了,换上一块AMD独显,或许还能谈谈ROCm路径——但那样做的理智与否,就和这天气一样灰蒙蒙了。
一圈研究下来,原来HomeLab里号称“自家生态”的美丽承诺,真的得用硬件清单一句句对照。llama-benchy之所以直接接管生产测试,是因为它对硬件路径没有额外幻想,只做一件事;而Lemonade看似全家桶,实则是一张架构依赖的验血单,硬件不对,连门都不给开。下次谁再安利“同家品牌一定合适”,我可能会先问一句:您说的是哪种硅片?
热门跟贴