参数是堆出来的,但一下子堆到2.8万亿,你硬盘都还没准备好。月之暗面今天直接把这头“巨兽”的模型权重、训练代码和数据集文档放到了开源社区。

2.8万亿什么概念?举个不严谨的栗子:如果每个参数喝一滴水,你得一水库才够。目前市面上大部分能打的开源模型还停留在百亿到两三千亿级别,万亿本就是游戏规则改写区,这次直接翻倍。

打开网易新闻 查看精彩图片

参数等于模型的“神经元”数量,账面上能带来更强的记忆容量和推理能力。但请别光看数字高潮——推理一张嘴、显卡跑断腿。跑得动它,你可能需要等最新的八卡主机,还得调好显存顺序,不然直接OOM。

月之暗面这次没有搞“开源做样子”,模型权重是可以下载的。目前没有放出权威Benchmark,但敢把这么大东西放出来,至少说明工程上已经趟过了无数次炸显存的夜。建议想尝鲜的同学先把硬盘清出300G,然后泡杯咖啡慢慢等下载。