一台游戏机跑大模型，速度能有多快？开发者 abhi245y 给出的答案是：每秒 20.9 个 token。这个数字来自一台经过破解的 PS5，跑的是 27B 参数的 Qwen3.8-27B 模型。

打开网易新闻 查看精彩图片

据外媒 Wccftech 报道，abhi245y 的工作建立在资深 AI 工程师 Mert Cobanov 的 PS5LM 项目之上。PS5LM 是一个 llama.cpp 的移植项目，早期版本主要依靠 CPU 运行模型，执行 27B 参数模型时，平均每分钟只能生成约 1 个 token。这个速度基本不具备可用性。

性能跃升的关键在于把 GPU 拉进来。abhi245y 开发了原生 GPU 应用 PS5LM Plus，移植了 Mesa 开源项目中的 AMD RADV 驱动，通过 Vulkan 计算接口让 llama.cpp 作为原生应用在 PS5 上运行。这项改动把可用内存从约 6GB 提升至 11.4GB，主机因此能够运行经过高度量化的 Qwen3.8-27B 模型。

几个要点值得逐条看：

  • 内存带宽是底气。PS5 的内存带宽为 448GB/s，这是 27B 模型能跑到每秒 20.9 个 token 的硬件基础。
  • 负载分布极端。测试期间 GPU 使用率达到 100%，CPU 使用率仅为 2%，推理几乎完全压在 GPU 上。
  • 小模型更快。Gemma 4 E4B 约为每秒 61 个 token，Llama 3.2 3B 则达到每秒 124 个 token。
  • 不只是跑分。PS5LM Plus 内置网页聊天界面，可通过局域网 8081 端口提供 API 服务，同一网络中的其他设备能访问页面与本地模型对话。
  • 工具链兼容。项目兼容 OpenAI 和 Anthropic API，方便 opencode、Codex、Claude Code 等工具调用 PS5 上运行的模型。

从每分钟 1 个 token 到每秒 20.9 个 token，中间隔着的不是模型换了，而是推理路径从 CPU 换到了 GPU。Vulkan 计算接口在这里扮演了桥梁角色，让 llama.cpp 不必绕开主机的图形栈。

限制同样明确。这台机器配备的 16GB RAM 统一内存，仍然制约着模型的选择和运行质量。想跑更大参数量的模型，内存先卡住。

还有一个前提绕不过去：运行原生版 llama.cpp 需要先对 PS5 进行越狱，可能导致游戏机及 PSN 账号被封禁等风险。对一台主要面向游戏设计的主机来说，能充当本地 AI 服务器、为大模型推理提供 GPU 加速，展示了硬件在游戏之外的应用潜力，但代价也摆在那里。