一台只有1G可用内存的电视盒子，跑起了16B规模的大模型。这不是云端推理，是本地运行。

作者Gorden Sun分享了smolmaxxing项目：在llama.cpp基础上重写底层计算代码，针对老旧芯片做优化。核心动作有两个——删掉不常用的词汇以节省空间，以及把模型数据放在硬盘上，按需快速读取并提前预判加载。

这套硬盘暂存加预读取的策略，解决的是低内存环境下的模型加载问题。内存装不下整个模型，就让硬盘当仓库，计算时再快速取用。

实测数据如下：

  • 第三代小米电视盒子S运行2B规模的Qwen3.5，每秒生成7.7个token
  • 同一设备运行16B规模的Ling-mini-2.0，每秒5.1个token
  • 2013年的iPad Air运行1.7B规模的Bonsai，每秒24-26个token
  • 这台旧iPad同样能跑16B大模型

两款设备都只有1G可用内存，都成功跑起了AI对话。7.7和5.1 token每秒不算快，但已经进入可用的对话节奏；iPad Air上24-26 token每秒，接近正常阅读速度。

值得关注的是优化路径的选择。没有换硬件，没有加内存，而是在计算逻辑层面做减法——删冗余词汇降低内存占用，用硬盘补内存的缺口。对手里堆着旧设备的人来说，这条路子说明算力门槛之外，工程优化还有空间可挖。