【CNMO科技消息】索尼PlayStation 5的16GB GDDR6内存和448GB/s带宽，对运行本地AI模型来说算是一份尚可的规格。有人真的把这一设想变成了现实，虽然过程中伴随了不少妥协。诀窍在于把原本由CPU承担的工作转移到GPU上，由此腾出了足够的内存，最终成功运行了270亿参数的Qwen3.8-27B。
这一项目名为"PS5LM"。起步阶段，Reddit用户u/metover推出了一个非官方的llama.cpp移植版本，让PlayStation 5能够以CPU作为载荷来运行AI模型。但另一位用户u/AdIllustrious7246发现，这种做法把可用内存严重压缩到只有6GB，也就没有帧缓冲留给更大的AI模型。于是，他借助Mesa的开源AMD驱动RADV，通过Vulkan把llama.cpp做成了PlayStation 5的原生应用，可用内存从6GB提升到11.4GB，这才有了运行大幅量化版Qwen3.8-27B的空间。
如果以16位精度运行，Qwen3.8-27B需要54GB内存，只有在配备多块GPU，或者单块GPU搭配大容量系统内存的机器上才可能实现。PlayStation 5显然不具备这类条件，因此只能采用量化版本Qwen3.8-27B-UD-IQ2_XXS，其权重约每个2比特，体积被压缩到6.8GB。这样做的代价也很直接：量化程度越高，模型质量损失越明显，Qwen3.8-27B会更容易出错，推理能力也有所削弱。在上下文窗口设为64K的情况下，内存占用率达到91%。
速度表现则与内存带宽直接相关。得益于此，Qwen3.8-27B的输出速度达到20.9 tok/s，此时GPU占用100%，CPU只有2%。换成更小的模型，成绩会更亮眼：Gemma 4 E4B达到61 tok/s，Llama 3.2 3B则冲到124 tok/s。整机总功耗为86W，温度保持在54摄氏度，对于一台本来只用来打游戏的游戏机来说，这已经是相当不错的散热表现。
不过，这套方案的局限也很明确。16GB内存意味着只能运行大幅量化的27B模型，或者明显更小的模型，实际输出质量未必能达到预期。另外，要在PlayStation 5上运行原生的llama.cpp需要先越狱，这不仅会让保修失效，还可能招致线上游戏的封禁。
顺带一提，如果觉得这件事已经足够惊人，还有消息称，另有人用包括三星S24+在内的六台设备，运行了一个120B规模的AI模型。
热门跟贴