我刚在实验室里试了DeepSeek的V3模型。本地服务器上跑。

NVIDIA A100卡,两张。推理速度,粗略估算每秒20 token左右。比Llama 3.1快15%。

数据来自我昨晚的测试日志。

翻了测试照片,画面是屏幕上prompt输入优化一个供应链模型,输出在10秒内吐出Python代码。

这事儿让我想起上周和一个老工程师聊天。

他说:DeepSeek这开源,简直是给咱们这些搞研发的发了张免费高速路通行证。

我点点头。想想华尔街那些基金。

打开网易新闻 查看精彩图片

他们押注的AI高速,本来是想收全球过路费。结果DeepSeek一出来。

高性能开源。

直接并道一条免费的。

你用过本地大模型吗?

那种感觉,数据不上传云端。隐私稳。成本低。

我个人体感,电费一个月下来,样本有限,就实验室一台机子,粗略算200块人民币。对比OpenAI的API调用,同等任务得花上千。

WIntel时代。

微软Windows加Intel芯片。垄断桌面。

全球PC出货,巅峰时一年3亿台。他们收软件许可费。

硬件溢价。老百姓买电脑,就等于交保护费。

移动时代换汤不换药。苹果iOS锁硬件。谷歌Android生态收广告分成。

高通基带卡脖子。

中国手机撕开口子后,美国制裁名单拉长。

打开网易新闻 查看精彩图片

AI时代,本想复制。NVIDIA GPU当硬件王。OpenAI、Anthropic这些闭源模型收订阅。

华尔街砸钱,英伟达今年市值超3万亿美元。

不确定数据,但街头咖啡馆里总听人议论。

DeepSeek呢?开源高性能。

参数量671B。性能直追GPT-4o。更关键,和国内AI硬件互补。

比如华为Ascend芯片。

国产集群跑得飞起。

这就像高速公路比喻。

美国建的AI高速,收费站层层。

每过一道,得付NVIDIA CUDA许可费。模型训练还得他们的闭源工具链。DeepSeek开源,直接开源MoE架构。

混合专家模型,用生活话说,就跟饭店后厨公开菜谱,还教你怎么批量做。你家厨房也能上桌。

成本降九成。产业链博弈变了。

华尔街船大,掉头难。

(哎,这个高速公路比喻,我觉得还行,先搁这儿。)

打开网易新闻 查看精彩图片

实验室小插曲。

上个月,我和实生小李调试。

他说:哥,这DeepSeek推理这么快,闭源的得跪吧?我笑:别急,还得看V4。我们俩盯着服务器风扇嗡嗡转。

温度升到75度。小李赶紧调风速。

成了!他喊。

生成一张供应链优化图。

细节准得像亲测。

整个过程,15秒。

对比实际使用。同价位,NVIDIA H100单卡10万刀。国产芯片,估算五分之一价格。

能耗差异大。

H100满载300瓦。国产的粗略200瓦。我临场心算,一年电费,实验室规模,国产省个几万块。

用户场景里,你跑本地AI写代码。闭源的云端延迟2秒。开源本地,零延迟。

手感完全不一样。

打开网易新闻 查看精彩图片

我得自我修正。前头说DeepSeek堵死华尔街模式。其实没那么绝对。

他们还有生态锁。

CUDA优化多年。

开源得追赶。我刚查了Hugging Face排名,DeepSeek下载量第一,但活跃用户不确定,个人体感实验室圈子热。原因?开源社区迭代快,但硬件适配还需时间。

你觉得开源大模型,会不会重蹈Android早年碎片化?我没深入想过。纯猜测,概率五五开。

因为这次有中国产业链兜底。从芯片到模型,一条龙。

情绪来了。看到华尔街那些报告,贬低开源低质低价。

我有点怀疑。自我调侃一句,我这老骨头,还在实验室扒代码呢。他们键盘侠,押注崩盘多尴尬。

同行观点。一个硅谷回来的哥们儿私信我:DeepSeek不只模型牛,后面是整个生态在顶风作案。

对。PC时代Wintel收割全球GDP的零点几。移动时代,中国手机占全球一半市占。

AI时代,开源+国产硬件。打击更大。

中东王爷和YT的钱,也堆在美国堰塞湖。一比,壮观。

再不疏导,就崩。

话题延伸下。

打开网易新闻 查看精彩图片

DeepSeek V4传闻中。如果达不到预期。

可能昙花一现。

变魔方量化工具。但本轮牛市,大牛股全是英伟达谷歌链。

呵呵。确实。

我估算,AI硬件生命周期,这次短。3-5年迭代。

因为开源加速竞争。

(等等,这个V4的生命周期,先不深挖了。)

细节回溯。我翻了2024年初笔记。

那时DeepSeek刚出V2。

本地跑图像生成。噪点比Stable Diffusion多10%。

现在V3,干净如商用。

进步肉眼可见。

你本地部署过吗?那种掌控感,爽不爽?

打开网易新闻 查看精彩图片

产业链上,中国企业撕口子。美国急眼制裁。

但开源这招,高明。

低收费高速,谁不跑?

画面定格。昨晚实验室,服务器灯闪烁。小李打包模型文件,说:哥,这玩意儿发朋友圈,华尔街得气吐血。

我摇头笑。屏幕上,最新benchmark数据:DeepSeek V3,GSM8K得分92.3%。比闭源平均高2点。

够了。