文|风青雪
大家好,我是小观。
同样是万亿参数大模型,美团兰格拆D2.0已经在国产卡集群跑完从零开始的预训练、后训练全流程,可DeepSeek却一直被大家追问,到底能不能脱离英伟达做预训练。
V4主体预训练外界普遍判断还是跑在H800上,昇腾只拿下了V4PRO的后训练和推理。
一边已经跑通,一边还在攻坚,这个巨大反差,到底藏着什么样的算力难题?
今天咱们用大白话,把这件事讲明白。
很多人分不清预训练、后训练和推理,觉得能对话推理,就能直接训大模型,其实完全不是一回事。
推理就是咱们平时和AI聊天,只做前向计算,显存放模型权重就行,一张卡出问题,顶多这一次回答慢一点,容错很高。
后训练是在成熟模型基础上微调,学指令、学推理,虽然也有反向传播,但数据量小、周期短,出问题回滚重来,成本很低。
而预训练才是根基,要喂海量文本,反复猜词、改错、更新参数,前向、算损失、反向传播、梯度更新一步都不能少。
反向传播的计算量是前向的两倍,一个词元消耗算力大约是推理的三倍。
显存压力更是吓人,推理好比柜子里只放一本说明书;预训练除了权重,还要存梯度、优化器记录一大堆配套数据。
像V4PRO,推理只要十几张卡,预训练状态数据就要将近200张卡才能装下。
上万张卡一起训练,还要不停互相同步梯度,MoE模型还要来回分发数据,通信压力巨大。
就算是英伟达成熟集群,Meta训练Llama3405B,五十多天里故障四百多次,平均三小时就断一次。
预训练牵一发而动全身,一张卡出错,整个任务就要停住回滚,成本极高,这就是预训练的地狱难度。
讲到这里很多人会问,美团都用国产卡训完万亿模型了,为什么DeepSeek这么难?
在我看来,关键不是国产算力做不了通用预训练,而是DeepSeek的模型从底层,就是贴着英伟达硬件量身打磨的。
它的MoE专家切得特别细,每一层256个专家,每次只激活8个,数据在卡之间来回跑,通信压力拉满。
它的MLA、DSA、CSA、HCA这一系列压缩注意力写法,都是为了解决长上下文开销,代价就是计算碎片化、访存不规则。
这些底层算子一开始全是针对Hopper架构手工写的,甚至吃透了芯片本身的精度短板,专门设计计算策略。
它还会限制数据分发节点、划分核心专门负责通信,用到了底层非常规指令,模型和CUDA生态深度绑定。
英伟达SM架构里矩阵单元和通用核心融合,适合这种零散计算。
而昇腾达芬奇架构,矩阵和通用计算单元分开,早年零散访存并不占优,加上算子生态不完善,迁移起来难度巨大。
但现在局面已经变了,国产算力的拐点已经来了。
新一代昇腾950DT补上FP8能力,单卡144GB显存,带宽、互联能力大幅提升,访存粒度缩小,专门适配碎片化数据访问。
几千卡、上万卡的集群、容错、断点续训工具都在持续成熟。
今年9月30日,DeepSeek开源了适配昇腾的全套底层组件,FlashMLA、DPP这些核心库都有了昇腾版本,还改用专用描述语言,一份代码可以编译到不同硬件,不再死死绑定CUDA。
950DT超节点四季度上市,很多人都在期待DeepSeekV5能在昇腾上完成预训练。
我认为,如果这种深度适配英伟达硬件的模型都能迁移成功,就代表国产算力真正站上了顶级预训练的台阶。
当然客观来说,不是插卡就能跑,需要模型和芯片两边一起适配,对英伟达的依赖不会一下子清零。
算力是AI产业的底层地基,能不能把核心算力握在自己手里,直接决定我们AI产业未来的上限。
美团的成功证明国产算力这条路走得通,DeepSeek能不能落地昇腾预训练,就是一块含金量极高的试金石。
这条路还有不少硬骨头要啃,但方向明确、脚步扎实,国产算力的突围,才刚刚进入关键阶段。
热门跟贴