DeepSeek正在测试一件事:把部分小模型的推理任务,放到便宜得多的游戏显卡上跑。据The Information报道,这家公司想验证的是,激进的模型优化到底能不能把推理成本压下来。
这不是实验室里的纸面推演。梁文锋已经把这个进展告诉了投资人——DeepSeek内部测试显示,它的小模型在专为游戏设计的图形芯片上跑得不错。
打开网易新闻 查看精彩图片
为什么盯上游戏显卡
推理和训练是两件事。训练大模型要的是极致算力,推理要的是单位成本够低。小模型如果能被优化到在游戏显卡上稳定运行,意味着不必挤在昂贵的数据中心算力里排队。
算力紧张是背景。把一部分推理负载分流到更便宜的硬件上,等于给紧张的算力腾出空间。
赌的是优化能力
这条路能不能走通,关键不在显卡本身,而在模型优化能做到多激进。同样的模型,优化程度不同,对硬件的要求可能差出一大截。
DeepSeek选择先拿小模型试水,逻辑也在这里:小模型对硬件的宽容度更高,更容易验证这条路是否成立。测试结果目前指向的是"能跑",但能跑和能大规模跑之间,还有距离。
对行业来说,这个方向如果被验证,影响的不只是一家公司的成本表。推理算力的获取方式,可能会多出一个选项。
热门跟贴