中文互联网上关于Deepseek使用UE8M0 Scale数据格式的讨论,还引发国产芯片涨停潮,实在是好笑。
上面这张图来自英伟达Blackwell芯片的官方文档,引入了MXFP8的数据格式,使用了E8M0作为缩放因子。这完全就是B200芯片的特性。你能拿英伟达定义的数据格式颠覆英伟达吗?
所以说,全网爆火的DeepSeek UE8M0 FP8 ,其实英伟达早已支持。
NVIDIA PTX ISA(并行线程执行,PTX 指令集)文档里面早就已经出现了 .ue8m0这个数据类型
地址:
https://docs.nvidia.com/cuda/parallel-thread-execution/#mma-scaling-kind-type-valid-combination
UE8M0 fp8并不是 DeepSeek 独创
至少从 PTX 8.0/9.0(对应 Hopper/Ada 架构 GPU)开始,NVIDIA 已经在 ISA 级别支持 .ue8m0
它就是 NVIDIA 官方 scale 数据格式之一,用在 FP8/FP4混合精度量化的场景
NVIDIA Hopper 架构 (H100系列)
H100 GPU(2022年发布),面向数据中心和 AI 训练/推理,是 首个官方支持 FP8 (E4M3 / E5M2) 混合精度 的 GPU 架构,在 PTX 指令里引入了 .ue8m0作为 scale data type。
NVIDIA Ada Lovelace 架构 (RTX 40系列)
RTX 4090 / 4080 / 4070等消费级显卡(2022年底发布),面向游戏和 AI 推理。同样在底层指令集里继承了 .ue8m0、E4M3/E5M2的支持。
也就是说技术上:UE8M0已经在 NVIDIA 硬件生态存在
因此个人觉得DeepSeek 这句话应该这么理解
这相当于DeepSeek V3.1把原本只在硬件/内核实现层面存在的 scale 表达方式,提升到模型部署和训练标准,适配了国产下一代芯片
热门跟贴