2024年12月26日,深度求索(DeepSeek)发布了其最新人工智能(AI)大模型DeepSeek-V3,并同步开源,刷屏中外AI圈。DeepSeek在两年内就成功开发出一款性能比肩国际顶尖的AI模型,成本仅为557万美元,与OpenAI 7800万美元的GPT-4训练成本形成鲜明对比。
聊天机器人竞技场(Chatbot Arena)最新数据显示,DeepSeek-V3排名全模型第七,开源模型第一。竞技场官方表示,DeepSeek-V3是全球前十中性价比最高的模型。在风格控制下表现稳健,在复杂问题和代码领域表现均位列前三。
在长达55页的技术报告背后,DeepSeek将它的技术路线完整地展示给公众。有人称赞它是一次真正的技术突破,但也有人质疑它只是现有优化技术的集成而已,本质上是新瓶装旧酒。
对此,有业内人士告诉《每日经济新闻》记者,DeepSeek-V3是首个创新融合使用了FP8、MLA、MoE三项技术的大模型,可以看作是实质性的突破。
聊天机器人竞技场:DeepSeek-V3位列总排名第七、开源模型第一
最新的聊天机器人竞技场(Chatbot Arena)数据显示,DeepSeek-V3排名第七,成为前十名中唯一的开源国产模型。
DeepSeek-V3模型被评价为国产第一,并且也是全球前十中性价比最高的模型。DeepSeek-V3在风格控制下表现稳健,在复杂问题和代码领域冲进了前三名。
聊天机器人竞技场是目前最知名的大模型评比榜单,用户在平台上同时与两个匿名模型进行对话,提出相同问题,比较它们的回答。根据模型的回答质量,用户选择自己偏好的答案,或选择平局或都不满意。根据用户投票结果,平台使用Elo评分系统更新模型的分数。相比较于其他基准测试,这一评分标准更能反映出真人用户对于大模型的偏好。
AI智能体与大语言模型集成平台Composio也从推理、数学、编程和创意写作四个维度将DeepSeek-V3和目前最流行的两个大模型Claude 3.5 Sonnet和GPT-4o进行了比较。
在推理方面,DeepSeek-V3与Claude 3.5 Sonnet、GPT-4o平分秋色,在个别特定问题上还要表现得更好一点。
在数学方面,DeepSeek-V3比Claude 3.5 Sonnet和GPT-4o要好得多。测试者使用了Gilbert Strang的线性代数(MIT的线性代数入门教材)中的一道题作为测试问题。GPT-4o和Claude 3.5 Sonnet都只能找到一个可能的顶点,而DeepSeek-V3能找出三个顶点。
在编程方面,DeepSeek-V3非常接近GPT-4o的编码能力,但Claude 3.5 Sonnet是表现最好的模型。不过,DeepSeek-V3的定价却极具吸引力。考虑到性价比,如果只是一般使用的话,Composio认为DeepSeek-V3会是更好的选择。
在创意写作方面,Claude 3.5 Sonnet更佳,GPT-4o与DeepSeek-V3相差不大。
但是,DeepSeek现在API的输入价格仅为每百万Token0.1元人民币,而Claude3.5 Sonnet API输入价格为每百万Token 3美元。Composio站在使用者的角度判断,如果用户想要在大模型之上构建应用程序,那么Deepseek-V3是明智之选。DeepSeek-V3的性价比让它成为构建面向客户的AI应用程序的理想选择。
新瓶装旧酒?业内人士:DeepSeek-V3有实质突破,融合三项创新技术
DeepSeek刷屏的另一大焦点便是:它的价格为何那么便宜?
DeepSeek在它长达55页的技术报告里给出了答案:DeepSeek-V3利用混合专家 (MoE)架构来优化性能,在每次处理过程中仅激活6710亿个参数中的370亿个。同时还融合使用了多头潜在注意力(MLA)、FP8混合精度和多token预测等技术进一步提高了其效率和有效性。
有人质疑称,这些技术在很早之前就已经提出过,DeepSeek只是将这些优化技术集成在一起而已。
对此,资深业内人士、技术交流平台北京城市开发者社区主理人猫头虎告诉《每日经济新闻》记者,DeepSeek-V3有实质突破。他认为,作为首个综合实力匹敌Meta的Llama3.1-405B的国产开源大模型,DeepSeek-V3创新性地同时使用了FP8、MLA和MoE三种技术手段。
据悉,FP8是一种新的数值表示方式,用于深度学习的计算加速。相比传统的FP32和FP16,FP8进一步压缩了数据位数,极大地提升了硬件计算效率。虽然FP8是由英伟达提出的技术,但DeepSeek-V3是全球首家在超大规模模型上验证了其有效性的模型。
猫头虎进一步向每经记者表示,这一技术(FP8)至少将显存消耗降低了30%。
Midjourney的AI研究员Finbarr也表示,Deepseek的FP8设置看上去很棒。
此外,相较于其他模型使用的MoE模型,DeepSeek-V3使用的MoE模型更为精简有效。该架构使用更具细粒度的专家并将一些专家隔离为共享专家,使得每次只需要占用很小比例的子集专家参数就可以完成计算。这一架构的更新是2024年1月DeepSeek团队提出的。
AI研究人员马克·贝克在文章中认为DeepSeek的MoE是一个突破性的MoE语言模型架构,它通过创新策略,包括细粒度专家细分和共享专家隔离,实现了比现有MoE架构更高的专家专业化和性能。
但是最令人惊讶的是MLA机制,这一机制也完全由DeepSeek团队自主提出,并最早作为核心机制引入了DeepSeek-V2模型上,极大地降低了缓存使用。不过,DeepSeek-V2模型当时并没有激起什么讨论的热度,只有很少一部分技术人员注意到了这一成果。
当时,开源平台huggingface的技术主管Pjillipp Schmid还在社交平台上为DeepSeek鸣不平:“为什么没有更多的人讨论MLA(多头潜在注意力)机制? MLA被引入DeepSeek-V2中,并帮助将KV-cache的内存减少了93.3%。”
编者注:多头潜在注意力(MLA)是DeepSeek-V2的核心创新,它不仅仅停留在低秩投影的概念上,而是通过更精细的变换设计,实现了在保持推理时KV Cache与GQA相当的同时,增强模型的表达能力。MLA的关键在于其推理阶段的恒等变换技巧,允许模型在不增加KV Cache大小的情况下,利用不同的投影矩阵增强每个头的能力。
图片来源:X
猫头虎向每经记者表示,FP8、MLA和MoE的融合,是AI技术向更高效率、耕地成本发展的典型案例,尤其在DeepSeek-V3的推动下,这些技术展现出了宽阔的应用前景。
热门跟贴