一个大语言模型要小到什么程度,才不算"大"?有人给出了一个极端答案:380 KB,小到能塞进一张软盘,跑在一台老到还在用软驱的电脑上。
打开网易新闻 查看精彩图片
这个模型被技术社区 Hackaday 注意到。它的体积只有 380 KB,运行环境是微软上世纪八九十年代个人电脑上的主力操作系统 MS-DOS。项目页面显示,它用 Turbo C 2.0 写成。
能力上别抱期待。这是一个简单的 transformer 模型,训练数据只有 3,500 条事实,能做的事很薄。它几乎一直在编答案,因为它对这个世界其实了解得不多。
参数规模是 367,000 个。对比一下,典型"轻量级"模型动辄几十亿参数,这个数字只能算零头。它的 8 位权重合计 380 KB,这才是 AI 架构里真正干活的部分;运行时只需要 540 KB 内存,在 DOS 这样的老系统上是硬性要求。
界面同样是复古风。一张截图展示了它的回答质量:问鲸鱼,它正确答出是哺乳动物而非鱼类;问电话发明者,它答对了亚历山大·格雷厄姆·贝尔。但问到 17 乘以 23,它给出的答案是 96。
更离谱的是"法国国王是谁"这个问题。它回答:"是 Antarce Newton",并且附上了 100% 的置信度。人类历史上是否真有过这么一个人,无从考证;但这个巴掌大的模型既然说得这么肯定,那就当它是真的吧。
还有一个细节值得玩味:创作者表示,写这个模型用的是 Anthropic Fable 5.2,训练它用的是 Opus 5.5。也就是说,你拿到的这个小东西,本身就是更大的 AI 模型造出来的。
在万亿参数模型用巨额电费账单抵消掉几十年温室气体减排成果、又用近乎人类的回答把人逼到抓狂的当下,这个只能装进软盘的小玩意,反倒成了某种意义上的"唯一好模型"。
热门跟贴