一台售价3999美元、连独立显卡都没插的迷你PC,居然能在AI圈激起水花,原因只一个:它能装下别处怎么也塞不进的模型。这就是AMD的Ryzen AI Halo,那块基于Ryzen AI Max+ 395处理器,带着128GB统一内存的Strix Halo开发者套件。gpt-oss-120B、Qwen 3 Coder Next,甚至特调量化版的DeepSeek V4 Flash,它全能吞下去。事实上,它能装下一大票32GB的RTX 5090连加载都加载不了的模型,而且跑起许多混合专家模型来,速度是真正可用的那一档。
我花了大把时间在一台128GB统一内存的机器上,不过不是眼前这台,而是联想ThinkStation PGX,也就是英伟达GB10 Grace Blackwell盒子。跟它打交道的过程让我看清了共享内存池能带给你什么,也顺带曝出那些初看之下很容易被忽略的瑕疵。Ryzen AI Halo就是AMD对同一个想法的回应,现在每GB成本更低,只是底层软件栈换成了ROCm而非CUDA。但底层的取舍逻辑完全一致:你拿到的是独立显卡永远给不了的内存容量,付出的代价则是让显卡显得飞快的带宽和软件舒适度。
不巧的是,刚掏腰包的人听到这个结论可能笑不出来:对绝大多数人拿本地模型来干的事而言,我的选择仍然是一张二手RTX 3090,价格比Halo便宜一大截。Halo在一个对比维度上赢得很彻底,赢得令人信服,只不过那压根不是多数人真正在意的较量。
Ryzen AI Halo能装下显卡做梦都装不下的模型。容量就是它全部的出发点。Ryzen AI Halo拥有128GB统一内存,由CPU和集成的Radeon 8060S共享为同一个连贯的地址池,其中最多96GB可以划给GPU当显存。你既不用担心模型权重在PCIe总线上传来传去,也不用琢磨怎么把模型劈开塞进两块甚至更多块显卡里。更不必费神折腾那些歪门邪道,好让模型勉强挤进内存——到了这个容量级别,大概率它直接就能装下。
每一张显卡都守着一堵硬墙:RTX 5090的上限是32GB,二手RTX 3090或者4090只给你24GB,一旦模型权重加上KV缓存越过这条线,速度就断崖式跌穿地板。极端情况下,模型干脆拒绝加载。Halo要面对的硬墙远得多,你得盯着那些显存需求超过96GB的模型才会撞上,而到了这个体量,问题已经彻底换了一个量级。
这些设备的内存被吐槽“慢”,纸面数字是256GB/s,但在今天这已经不算多大个事了。时下最热门的一大批模型用的都是混合专家架构,意思是模型把数量极庞大的全部参数都驻留在内存里,但每生成一个token只读取其中很小一部分,也就是那些被激活的“专家”。gpt-oss-120B在内存里存着全部1200亿参数,每个token只激活区区几十亿,所以生成所需吞吐量远低于全参加载一条路走到底的情况。
热门跟贴