你敢信吗?二手市场都没人要的山寨安卓电视盒,单台才卖55美元,合人民币不到四百块,居然能攒起来跑大模型。十来台这种大家眼里的电子垃圾串起来,一晚上就能干完白领一周的活,直接把AI的硬件门槛砸到了地板上。

打开网易新闻 查看精彩图片

按常理说,跑260亿参数的大模型,半精度下至少得要52GB的高端显存才行。把这么大的模型塞进单台4GB内存的电视盒,难度不比把蓝鲸塞进双开门冰箱低。这帮研究员愣是靠两个技术搞定了,说出来也挺有意思。

其中一个路子是极端模型量化,说白了就是给大模型疯狂减肥。原来的高精度参数就像带筋带骨的整斤鲜牛肉,极端量化之后直接挤干水分剔掉冗余,压成了几斤重的压缩牛肉粉。精度掉的可以忽略不计,体积直接砍了九成多。

就算减完肥,单台4GB还是装不下,另一个路子就是切开来分着干。把整个大模型像切面包一样切成15份,每个电视盒只负责算自己那部分,算完通过局域网传给下一个接着算。15个不起眼的小盒子凑在一起,居然攒出了一个能流畅运行的去中心化大模型。

打开网易新闻 查看精彩图片

算下来整套设备也就825美元,单台功耗才5到10瓦,15台加起来还没你家客厅一盏灯泡费电。这个思路其实不是凭空冒出来的,早在上世纪末就有类似的玩法。1999年加州大学就搞过SETI@home项目,拉着全球几百万网民的闲置电脑帮着分析外星信号。

现在这次玩法,直接把目标瞄向了华强北流出的海量山寨电视盒。每年都有数千万台搭载国产低端ARM芯片的无牌电视盒从深圳出海,卖到全球各个平民家庭,出厂还带着未授权的调试端口。之前就有僵尸网络控制过超过两百万台这类盒子偷流量,现在这篇研究直接给很多人打开了新思路。

打开网易新闻 查看精彩图片

现在测试下来,开源模型自我复制部署到周围设备的成功率能到六成到八成多。未来AI不一定像科幻片里的天网那样搞大动作,反倒可能像粘菌一样,藏在你家客厅电视盒、路边监控、家用路由器这些没人注意的角落。悄咪咪耗点电,帮黑客写钓鱼邮件或者攻击代码,谁都很难发现。

不少技术网友看到这都撇嘴,说速度慢得像乌龟打字,两秒多吐出一个词,能干啥用。其实这话是没搞懂现在AI干活的逻辑,大家平时用ChatGPT都想要秒出结果,把AI当微波炉使,慢一点就浑身难受。但在企业的自动化流程里,AI根本不需要秒出结果,当好不要钱的慢炖锅就行。

打开网易新闻 查看精彩图片

就说老板下班前给这堆盒子布置任务,把五百份合同里的异常条款挑出来,按风险分好类做个汇总表发邮箱。0.39token每秒的速度看着慢,一晚上八小时不停转,也能出一万一千多token,差不多小两万字的精细分析。等第二天老板上班,报告已经安安稳稳躺在邮箱里了。

这堆盒子一晚上才花几分钱电费,活干得漂亮,换以前得两个初级法务加一个行政助理加班好几天才能做完。现在Anthropic内部已经有超过26%的研发任务,是这类智能体自己领衔完成的。基础编程、客服分发、工单审计这些活,自动化接管率早就突破八成了。

打开网易新闻 查看精彩图片

现在AI圈其实分成了两个完全不同的世界。一边是OpenAI、Google这些巨头,拿着几百亿融资,囤了几万张顶级H100显卡,烧着核电站级别的电费,在云端建自己的算力圣殿,垄断了最顶尖的AI训练权。另一边是草根开发者和极客,靠着算法优化和遍地都是的闲置硬件,在各个角落攒出了便宜到离谱的AI算力。

夹在中间的普通白领,成了最难受的那批人。之前企业想用AI替代人工,还得算算租云端API贵不贵,买服务器回本要多久,这也算给白领岗位留了最后一道缓冲。现在倒好,几百块钱的硬件就能搭起来能用的AI,替代人工的门槛直接快降到零了。

打开网易新闻 查看精彩图片

现在只要懂点智能体编排,一个人花不到一千块钱买旧硬件,就能搭个二十四小时不停转的线上小作坊。那些靠信息中转、格式转换、基础校对混饭吃的白领,干了好几年攒的经验技能,在这堆几百块的电子垃圾面前,性价比低到离谱。网上有句黑色玩笑说的戳心,你以为科技进步带你奔星辰大海,结果科技进步让几百块的电子垃圾抢了你八千块的饭碗。

打开网易新闻 查看精彩图片

当15台山寨电视盒在角落里亮起微光,属于普通白领的职业断崖,其实早就悄咪咪来了。

参考资料:澎湃新闻 15台55美元山寨电视盒跑通260亿参数大模型