作者|杨文

来源|AI先锋官

先锋官有话说:

产品名称:Claude 3 Opus

总体评价:★★★★☆

易用性:★★★★☆

功能性:★★★★☆

创新性:★★★★☆

推荐功能:文字处理、数学推理

最近AI圈卷疯了,小编手里的选题,写不完,根本写不完。

昨晚,由几位OpenAI 前员工创立的 AI 公司 Anthropic 推出了新的Claude 3系列模型,并称其是目前市面上速度最快、性能最卓越的人工智能模型。

网友们纷纷点评“全球最强大模型一夜易主,GPT-4时代终结!”

打开网易新闻 查看精彩图片

产品介绍

Anthropic发布了新一代大语言模型Claude 3系列,包括Claude 3 Opus(著作)、Sonnet(十四行诗)和Haiku(俳句)三种规模,分别代表了超大杯、大杯和中杯。

Anthropic声称,最强大的Claude 3 Opus模型在行业基准测试中超越了OpenAI的GPT-4和谷歌的Gemini Ultra,尤其在本科水平的知识、研究生水平的推理以及基础数学方面更是展现出了卓越的能力。

打开网易新闻 查看精彩图片

此外,Claude 3还具备视觉识别能力,能够处理包括照片、图表和技术图纸等多种视觉资料。

Claude 3的主要功能

1.增强的多语言能力:Claude 3模型在处理非英语语言方面有所提升,能够更好地理解和生成西班牙语、日语和法语等语言的内容。

2.长文本处理能力:Claude 3模型家族提供了200K的上下文窗口,并且能够处理超过100万token的输入,有助于更好地理解和记忆长文本信息。

3.视觉处理能力:Claude 3模型具备处理各种视觉格式的能力,包括照片、图表、图形和技术图示等文件。

4.实时响应能力:模型能够支持实时的客户聊天、自动完成和数据提取任务,提供近乎即时的结果。

5.减少拒绝回复:与之前的模型相比,Claude 3在理解请求方面更加细腻,减少了在系统边界附近不必要的拒绝。

6.提高准确性:Claude 3模型在处理复杂、事实性问题时的准确性有所提高,减少了错误答案的产生。

7.结构化输出:Claude 3模型在生成JSON等流行结构化输出方面有所改进,简化了自然语言分类和情感分析等用例的指令。

8.更易于使用:Claude 3模型更擅长遵循复杂的多步骤指令,并且能够更好地遵循品牌声音和响应指南。

每个模型的具体特点

Claude 3 Opus:最智能的模型,适用于高度复杂的任务,如任务自动化、研发和策略分析。

Claude 3 Sonnet:在智能和速度之间提供平衡,适合企业工作负载,如数据处理和客户互动。

Claude 3 Haiku:最快的模型,适用于需要即时响应的场景,如内容审核和节省时间的任务。

相较于Opus,Sonnet和Haiku两款模型在参数规模和使用成本上更为亲民。

链接直达

目前,用户可免费使用Claude 3 Sonnet模型。而最强的Opus版本,则需要付费订阅,价格为20美元/月。Haiku 模型即将推出。

Claude 3 Sonnet模型:

https://claude.ai/chats

-5-

一手评测:

多模态能力略差,文字处理、数学推理实强

既然网友们声称Claude 3超越了GPT-4,咱们就让Claude 3最强版本Opus和GPT-4好好较量一番。

(温馨提示:以下测评均使用英文,然后翻译为中文。)

先看这俩大模型的界面。说实话,小编很喜欢Claude 3的界面。

与GPT-4比起来,Claude 3的界面简洁中透着美感。最上方是LOGO,下面依次是欢迎语、问题输入框以及Claud3 最新能力的图文介绍,最下面是历史记录。

无论是功能设置还是配色,都简洁大方,一应俱全。

打开网易新闻 查看精彩图片

废话不多说,咱们来上干货。

一、多模态能力:GPT-4仍遥遥领先

此次Claude 3最受关注的就是具备处理各种视觉格式的能力,包括照片、图表、图形和技术图示等文件。

Round1:理解和处理图片能力

小编上传了一张小时候看过的动画片大力水手的照片,问:这是哪个卡通人物?

Claude 3Opus的回答:

打开网易新闻 查看精彩图片

GPT-4的回答:

打开网易新闻 查看精彩图片

这俩大模型都回答正确,不过Opus回答得更细致,还把画面描述了一遍。

这一局,Opus略胜一筹。

小编又上传了一张较为潦草的英文手写字迹,问:这上面写了什么?

Claude 3Opus的回答:

打开网易新闻 查看精彩图片

GPT-4的回答:

打开网易新闻 查看精彩图片

虽然二者都能识别图片中的文字,但很遗憾,它们都没准确识别图中涂改过的单词“render”。

这一局,二者半斤八两。

Round2:画图能力

小编让这俩大模型分别画一只戴着耳机的小猫。

Claude 3Opus的回答:

打开网易新闻 查看精彩图片

GPT-4的回答:

打开网易新闻 查看精彩图片

一提到画图,Opus上来就道歉,无法绘制、生成、编辑、操作或创建图像。目前,它只具备感知和分析图片的能力。

而GPT-4虽然生成的图片比较丑,但起码它有这能力。

很明显,这局GPT-4赢了。

Round 3:语音“朗读”功能

眼瞅着Claude 3的“挑衅”,OpenAI终于坐不住了,在社交平台上发布了ChatGPT具有语音朗读的功能。

“ChatGPT现在可以读取响应。在iOS或Android上,点击并按住消息,然后点击“朗读”。我们也开始在网络上滚动——点击消息下方的“朗读”按钮。”

打开网易新闻 查看精彩图片

小编看热闹不嫌事大,直接把这张图喂给了Opus,问:这是什么功能?你有这种功能吗?

Claude 3Opus回答:

打开网易新闻 查看精彩图片

Opus是真实诚,坦言自己的技能集中于分析图像和进行基于文本的对话,不具备这种文本转语音的功能。

这一局,GPT-4赢了。

Round 4:视频处理能力

小编想上传一段Sora生成的猛犸象视频,并问:视频中有几只猛犸象?

Claude 3Opus的回答:

打开网易新闻 查看精彩图片

GPT-4的回答:

打开网易新闻 查看精彩图片

Opus直接无法上传视频文件,更别提回答问题了。

GPT-4不仅能上传视频文件,也能分析出视频的时长。只不过,它无法统计视频中的猛犸象数量。

这一局,仍是GPT-4胜。

二、数学推理能力:Opus更胜一筹

小编从北京市2023年中考数学真题中选了几道,分别来测试这俩大模型。

Round1:若关于x的一元二次方程x2-3x+m=0有两个相等的实数根,则实数m的值是多少?正确答案应该选C,9/4

Claude 3Opus的回答:

打开网易新闻 查看精彩图片

GPT-4的回答:

打开网易新闻 查看精彩图片

Opus回答正确,GPT-4则选了B,算出-9/4,回答错误。

这一局,Opus赢。

Round2:已知x+2y-1=0,求代数式(2x+4y)/(x2+4xy+4y2)的值。正确答案是2。

Claude 3Opus的回答:

打开网易新闻 查看精彩图片

GPT-4的回答:

打开网易新闻 查看精彩图片

Opus回答正确。

而GPT-4一顿操作猛如虎,写了一堆看不懂的解题过程,最后答案算出个x。

这一局,Opus赢。

Round3:某珠宝店失窃,甲、乙、丙、丁四人涉嫌被拘审。四人的口供如下:

甲:案犯是丙。

乙:丁是案犯。

丙:如果我作案,那么丁是主犯。

丁:作案的不是我。

四个口供中只有一个是假的。

如果以上断定为真,则以下哪项是真的?( )

A.说假话的是甲,作案的是乙

B.说假话的是丁,作案的是丙和丁

C.说假话的是乙,作案的是丙

D.说假话的是丙,作案的是丙

正确答案:B

Claude 3Opus的回答:

打开网易新闻 查看精彩图片

GPT-4的回答:

打开网易新闻 查看精彩图片

这道题目俩大模型都给出了正确答案,但Opus的回答更简单直接,而GPT-4分析了一通,把小编绕的云里雾里。

三、文字处理能力:Opus赢麻了

Round1:Why in the romance of The Three kingdoms Zhuge Liang could not break Kong Ming's empty city scheme?(为什么《三国演义》中的诸葛亮破不了孔明的空城计?)

Claude 3Opus的回答:

打开网易新闻 查看精彩图片

GPT-4的回答:

打开网易新闻 查看精彩图片

这俩大模型都指出了这道题目的问题所在——诸葛亮和孔明是同一个人。

但是,在细节上,Opus回答更准确,GPT-4则有一些错误。例如,GPT-4认为罗贯中和诸葛亮是同一个人;诸葛亮在城楼上弹古琴,而非琵琶。

这一局,Opus略胜一筹。

Round2:In the Romance of The Three Kingdoms, why did Lu Bu flirt with Lin Daiyu?Who was Lu Bu flirting with?(三国演义中,吕布为何调戏林黛玉?吕布调戏的是谁?)

Claude 3Opus的回答:

打开网易新闻 查看精彩图片

GPT-4的回答:

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

这俩大模型都非常默契的认为,吕布不可能调戏林黛玉,因为这是两个不同文学作品中的人物。

不过,对于“吕布到底调戏的是谁?”这一问题,Opus竟编出来一个燕夫人,难道Opus和小编读的不是同一本《三国演义》?

GPT-4似乎更了解中国文化,对吕布和貂蝉的戏码如数家珍。

这一局,GPT-4胜。

Round3:小编上传了一份12万字的PDF文档,问:How many topics does this document cover? What are they?(这份文档介绍了几个话题?分别是什么?)

Claude 3Opus的回答:

打开网易新闻 查看精彩图片

GPT-4的回答:

打开网易新闻 查看精彩图片

这份12万字的文档,涉及人类永生、人工只能、火箭技术、氢弹、芯片等多方面的科普内容。

从回答来看,Opus是把整个文档全部读完了进行的总结,回答出芯片、光刻机、火箭等主题,但而GPT-4似乎只阅读完了第一部分人类永生与衰老。

这一局,Opus完胜。

-6-

总结

多模态能力上来说,Claude 3Opus只会看图,不会画图,也没有视频处理和语音处理的能力,而GPT-4则更胜一筹。

数学推理能力上来说,Claude 3Opus做数学题、推理的本事确实比GPT-4强,不过高中数学题还是容易掉链子。

文字处理能力上来说,Claude 3Opus绝对更胜一筹。

Claude 3每次能够处理大约15万个单词的内容,这相当于处理一本长篇巨著,如《白鲸记》(Moby Dick)或《哈利波特与死亡圣器》(Harry Potter and the Deathly Hallows)的内容。

相比之下,ChatGPT的单次处理能力大约为3000个单词。

换句话说,Claude 3单词处理能力是ChatGPT近50倍。

在数学推理和文字处理方面,Claude 3Opus确实厉害,但由此淘汰掉GPT-4还为时尚早,起码多模态能力方面就差一些。