来源:市场资讯

(来源:巴芒时间)

文章同步更新于网站,链接:

(https://www.aitouzi.tech/index.php/2026/05/10/关于deepseek-v4,你需要知道的几件事儿)

2026年4月24日,DeepSeek v4发布,DeepSeek v4到底做了哪些事情?能力如何?与业界顶级模型的差距多少?本文给你讲清楚。

1. DeepSeek-v4 模型的能力如何?

大模型的能力测试一般围绕四大块,正对应论文中对DeepSeek-v4 模型测试的四个部分,分别是(世界)知识、推理能力、Agent、长上下文。原文是这么说的:

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

客观的说:

  • 世界知识层面,与Gemini-3.1-pro 仍有差距;

  • 推理能力层面,与顶级模型GPT-5.4、Gemini-3.1-pro的差距大概在3~6个月。水平大概与GPT-5.2、Gemini-3.0-pro 相当;

  • Agent层面:与Kimi-K2.6、GLM-5.1 相当。但是稍微差于顶级的闭源模型;

  • 上下文层面:在1M token上下文的背景下,效果甚至超过了Gemini-3.1-Pro

2. DeepSeek v4有哪些版本?参数量多大?

DeepSeek v4系列有两大版本,分别是flash与pro。在flash与pro版本下,又各对应一个test-time scaling 的版本,即:flash-max 与 pro-max,一图看懂:

打开网易新闻 查看精彩图片

简单来说,deepseek-v4-pro-max 就是DeepSeek-v4-pro 做出极限思考下的版本。flash同理。

test-time scaling是指:在推理时给出一些长思考,目的是提升模型的效果。

3. DeepSeek-v4 的初衷是什么?

DeepSeek v4的初衷是:解决长上下文推理问题。

当前各个模型通常会采取test-time scaling 方法来提升模型在推理时的效果,但是test-time scaling存在一个问题:推理时输出的长context会导致计算和内存疯狂暴涨,其复杂程度是O(N^2)级别。

鉴于推理时耗时耗内存的问题,DeepSeek-v4 给出的解决方案是:极致压缩Attention。怎么极致压缩呢?文章提出了两种方法,分别是CSA(Compressed Sparse Attention)和 HCA(Heavliy Compressed Attention)。

CSA的架构

打开网易新闻 查看精彩图片

HCA的架构

打开网易新闻 查看精彩图片

这两种Attention方法的核心思想是完全一致的:就是基于Attention再做Attention。这么做完之后,就实现了DeepSeek-v4的目的:通过极致的压缩长下文,实现了长下文下的性能极致发挥,从而做到极致的性价比。

打开网易新闻 查看精彩图片

所以,DeepSeek-v4 最大的意义在于大模型平权。

4. DeepSeek-v4 系列的预训练

deepseek-v4 的预训练表明:即使使用预训练的方式,只要模型结构设计良好且高效,那么也会取得非常不错的效果。

DeepSeek-V4-Flash 使用 32T tokens ,DeepSeek-V4-Pro 使用 33Ttokens 进行预训练。

经过预训练后,DeepSeek-v4-Flash-Base 的效果就已经超过了DeepSeek-V3.2-Base。这表明:v4的模型设计是更加高效的。更离谱的是,Deepseek-v4-Pro-base 进一步放大了这个收益,直接达到了DeepSeek基座模型的新巅峰水平——在推理、编码、长上下文、世界知识任务中都有全面优势。

5. DeepSeek-v4 系列的后训练

DeepSeek-v4系列选择了两阶段训练的范式:

  • stage 1:独立地训练领域专家;

具体地,先通过SFT的方式过领域内数据,如数学、代码、Agent的数据;然后使用GRPO的方式优化模型领域内对齐的行为。

  • stage 2:通过on-policy 蒸馏联合训练模型的整合。

这部分是通过KL损失来学习各个领域专家模型的能力。

6. DeepSeek-v4 的模型架构

打开网易新闻 查看精彩图片

模型架构中主要使用了下面这些算法&优化:

  • 继承自V3的MOE、MTP方式

MTP在DeepSeek-V3中已经被证明有效,所以仍然保留。MTP应该会成为后续模型的主流。

  • 混合Attention:CSA与HCA、MQA、Sliding Window Attention

Attention 是LLM/VLM中最重要的结构,可以说,任何一个大模型最重要的部件就是Attention。为了各种目的优化,会对Attention做更改。比如本paper使用的几种Attention。

  • Attention sink

这个算法的思想其实就是调整Attention score的值。这么做的原因是:实验发现,一串embedding的Attention值通常集中在头部,为了避免这种sink(下沉)现象,就对Attention值做了一个修正:

打开网易新闻 查看精彩图片

其实就是加上了这部分值:

打开网易新闻 查看精彩图片

,这样就会让最后的Attention score加和不是1。

小结

这期内容主要介绍了DeepSeek-v4系列的初衷、模型架构、优化细节。后面会对CSA、HCA、mHC等算法的细节内容进行详细解读。

历史文章概览

打开网易新闻 查看精彩图片

(1)企业分析

(2)投资心法

(3)好书分享

(4)财报详解

(5)宏观经济