AI 硬件市场,可能又要迎来一次大反转了。
过去一年,英伟达和 AMD 都在力推大容量统一内存设备。从 DGX Spark、RTX Spark,到 AMD Ryzen AI Max+ 395、495,128GB 甚至更大容量的统一内存,几乎成了桌面 AI 工作站最受关注的卖点之一。我们至顶 AI 实验室也陆续评测了这些机器。
市场的反应相当直接。DGX Spark 在海外一度卖断货,部分渠道出现明显溢价,甚至有报价达到 8499 美元,而它的起售价只有 3999 美元。
为什么这么多人愿意买单?
答案很简单:128GB 统一内存意味着,一台桌面大小的机器,就有机会装下并运行千亿参数级的大模型。而传统游戏显卡,即便是售价不菲的 RTX 5090,也只有 32GB 显存。面对动辄数十 GB、上百 GB 的模型权重,显存容量很快就成了瓶颈。
一时间,统一内存似乎已经拿到了本地大模型时代的入场券,传统显卡则显得有些尴尬。
然而,就在大容量统一内存设备风头正盛的时候,一个叫 Strata 的开源项目突然杀了出来。
它让一张只有 32GB 显存的 RTX 5090,也能运行总参数量高达 1250 亿的大模型。Strata 通过显存、系统内存乃至磁盘之间的数据调度,突破了模型必须全部装进显存的限制。项目在 GitHub 上已经获得超过 2.7 万颗 Star。
今天不说模型具体怎么启动,我们来看一个真实的测试,通过Strata启动模型,干活是什么感觉。
视频博主Bijan Bowen 组装了一台华硕提供的电脑,先让较小的 Qwen3.8-27B 制作赛车游戏,再用 Strata 运行 Flash-Next 完成同一道题,最后与 Claude Opus 4.6 的结果对照。三轮测试既展示了本地模型的进步,也留下了不少需要人来发现和反馈的问题。
测试电脑使用华硕 ROG Astral RTX 5090,这张卡配有32GB GDDR7 显存。显存决定了能放入多少模型权重和运行数据;带宽则影响模型读取这些数据的速度。Bowen也说了,这是一台厂商提供的机器,看结果时需要记住它的硬件条件。
先用 Qwen3.8-27B 打个样,游戏能跑,但仍需云端模型救场
第一轮上场的是Qwen3.8-27B。这是 Qwen 发布的 270 亿参数稠密模型;所谓“稠密”,可以简单理解为生成内容时,模型的大部分参数都会参与计算。Bowen使用 Q4_K_M 四位量化版本,把权重文件压到约 17—18GB,并把上下文长度设在约 26.2 万 token。量化是用较低精度保存权重,换取更小的内存占用;上下文越长,运行时预留的空间通常也越多。因此博主判断,若把上下文缩短到 32K,这个版本有机会在 24GB 显存的卡上运行,但视频没有实际验证这一配置。
任务并不简单:做一款 F1 风格小游戏,要有赛道、车辆与车手选择、至少六名电脑对手、驾驶舱和追车视角,还要有音效。模型通过 Blender 制作三维素材,再用 Godot 搭建游戏。跑出来的版本已经有可移动的对手、迷你地图和圈数显示,但整体较简陋,部分选择流程也不顺畅。博主估计,约 95% 的工作由本地模型完成;遇到卡住的环节,他曾借助更强的云端模型给出提示。这是一个能玩的结果,却不是完全独立完成的结果。
Strata 登场,1250 亿参数模型启动
接下来才是 Strata 的关键一轮。Qwen3.8-Flash-Next与前面的 27B 稠密模型结构不同:它是总参数量约 1250 亿的混合专家模型,每次生成只调用其中一部分参数。Strata 把运行所需的数据分配到显存、系统内存,必要时也利用磁盘,让整套权重不必全部塞进显卡。项目说明给出的基础门槛包括至少 12GB 显存的受支持显卡;12GB 显存只是“能启动”的门槛。视频中的速度来自 RTX 5090,换成普通显卡后,等待时间可能完全不是一回事。
每秒 170 Token,本地模型修BUG
博主选用约三位精度的 IQ3_S 量化版本,仍给它同一道赛车游戏题。此前一次 BMX 游戏试做曾出现角色反复从半空坠落的故障;这回赛车项目的开场画面和 Blender 场景明显更丰富,能看到赛车、维修区、看台和树木。但按下车手与车辆选择后,画面一度只剩浅蓝色。博主把现象反馈给模型,模型重新检查并修好入口;随后它又根据反馈修正了车轮转动方向。实际游玩仍有方向控制反转、地图形状异常等问题。视频显示,生成速度在相关阶段约为每秒 160—170 token;这个数字描述的是输出速度,不能单独代表游戏质量。
对阵 Claude Opus 4.6,本地方案意外占了上风
为了找参照,博主又让Claude Opus 4.6用相同提示词制作游戏。他选择中等推理强度,通过 API 付费调用。Opus 4.6 是 Anthropic 于 2026 年 2 月发布的模型;其标准 API 标价为每百万输入 token 5 美元、输出 token 25 美元。视频里首次生成花了约 2 美元,继续排查故障后累计接近 4.5 美元。这个版本也遇到选择车辆后卡住、赛道上疑似有隐形碰撞体等问题,博主认为完成度不如 Strata 那一轮。
单从这次测试看,1250 亿参数的本地模型意外地击败了 Opus 4.6。当然,模型对比不算严格,因为模型、量化精度和推理设置都不一致,过程中还有人工反馈。不能说明本地模型普遍强于云端模型。
最重要的点是本地模型已经走到了可以调用 Blender、Godot,反复修改一个可运行项目的阶段。对 Strata 来说,这已经是一个足够值得关注的信号。
热门跟贴