刚刚,Anthropic 宣布推出 Claude 3模型系列,该系列在广泛的认知任务中树立了新的行业基准。该系列包括三种最先进的模型,按能力递增排列:Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。每个后续模型都提供了越来越强大的性能,允许用户为其特定应用程序选择最佳的智能、速度和成本平衡。
Opus 和 Sonnet 现已可在 claude.ai 和 Claude API 中使用,后者目前已在159个国家/地区全面提供。Haiku 将很快推出。
Claude 3模型系列
智能的新标准
Opus,Anthropic 最智能的模型,在大多数常见的 AI 系统评估基准上表现优异,包括本科水平的专家知识(MMLU)、研究生水平的专家推理(GPQA)、基本数学(GSM8K)等。它在复杂任务上表现出接近人类水平的理解和流畅度,引领着通用智能的前沿。
所有 Claude 3模型在分析和预测、细致的内容创建、代码生成以及使用西班牙语、日语和法语等非英语语言进行对话方面都显示出增强的能力。
以下是 Claude 3模型与 Anthropic 同行在多个能力基准 [1] 上的比较:
近乎即时的结果
Claude 3模型可以支持即时客户聊天、自动完成和数据提取任务,其中响应必须是即时的和实时的。
在其智能类别中,Haiku 是市场上速度最快、性价比最高的模型。它可以在不到三秒的时间内阅读一篇信息密集的 arXiv 研究论文(~10k 个标记),其中包含图表和图形。随着推出,Anthropic 预计性能还会进一步提高。
对于绝大多数工作负载而言,Sonnet 比 Claude 2和 Claude 2.1快2倍以上,并且具有更高水平的智能。它擅长于需要快速响应的任务,如知识检索或销售自动化。Opus 的速度与 Claude 2和2.1相似,但具有更高水平的智能。
强大的视觉能力
Claude 3模型具有与其他领先模型相当的复杂视觉能力。它们可以处理各种视觉格式,包括照片、图表、图形和技术图表。Anthropic 特别激动地向企业客户提供这种新的模态,其中一些客户的知识库中有多达50%的内容以各种格式编码,例如PDF、流程图或演示幻灯片。
拒绝减少
以前的 Claude 模型经常做出不必要的拒绝,表明缺乏上下文理解。在这方面 Anthropic 已经取得了实质性进展:Opus、Sonnet 和 Haiku 拒绝回答那些接近系统警戒线的提示的可能性明显降低,比以前的模型更少。如下图所示,Claude 3模型对请求有更加细致入微的理解,识别出真正的危害,并且拒绝回答无害提示的频率明显降低。
提高的准确性
各种规模的企业都依赖于 Anthropic 的模型为他们的客户服务,这使得 Anthropic 的模型输出在规模上保持高准确性至关重要。为了评估这一点,Anthropic 使用了一套大量的复杂、事实性问题,针对当前模型的已知弱点。Anthropic 将响应分类为正确答案、错误答案(或幻觉)和不确定性的承认,其中模型表示不知道答案而不是提供错误信息。与 Claude 2.1相比,Opus 在这些具有挑战性的开放式问题上的准确性(或正确答案)实现了两倍的提高,同时还减少了错误答案的水平。
除了产生更可信的响应外,Anthropic 很快将在 Anthropic 的 Claude 3模型中启用引用,以便它们可以指向参考资料中的精确句子来验证其答案。
长上下文和几乎完美的召回
Claude 3系列模型在推出时将提供一个20万标记的上下文窗口。但是,所有三个模型都能够接受超过100万标记的输入,Anthropic 可能会将此提供给需要增强处理能力的特定客户。
为了有效地处理长上下文提示,模型需要强大的召回能力。‘Needle In A Haystack’(NIAH)评估测量模型从大量数据语料库中准确召回信息的能力。Anthropic 通过对每个提示使用30个随机针/问题对之一,并在多样化的众包语料库文档上进行测试,增强了这一基准的稳健性。
Claude 3 Opus 不仅实现了近乎完美的召回,超过了99%的准确性,而且在某些情况下,它甚至通过识别“针”句似乎是人为插入到原始文本中的来识别评估本身的局限性。
负责任的设计
Anthropic 开发了 Claude 3系列模型,使其在能力的同时也具备了可信赖性。Anthropic 有几个专门的团队跟踪和减轻各种风险,从错误信息和CSAM到生物滥用、选举干扰和自主复制技能等。Anthropic 不断开发方法,例如《宪法 AI 》,以提高 Anthropic 模型的安全性和透明度,并调整 Anthropic 的模型以减轻由新模态可能引发的隐私问题。
解决越来越复杂模型中的偏见是一项持续努力,Anthropic 在这个新版本中取得了进展。如模型卡所示,根据问答偏见基准(BBQ),Claude 3显示出比 Anthropic 先前的模型更少的偏见。Anthropic 始终致力于推进减少偏见并促进模型更大中立性的技术,确保它们不偏向于任何特定的党派立场。
虽然与以前的模型相比,Claude 3模型系列在生物知识、网络相关知识和自主性方面有所进步,但根据 Anthropic 的负责任扩展政策,它仍然处于AI安全等级2(ASL-2)。Anthropic 的红队评估(与 Anthropic 的白宫承诺和2023年美国行政命令一致进行)得出结论,目前模型对灾难性风险的潜在性可以忽略不计。Anthropic 将继续密切监视未来的模型,以评估它们与ASL-3门槛的接近程度。Claude 3模型卡中提供了更多安全细节。
更易于使用
Claude 3模型在遵循复杂的多步指令方面表现更好。它们特别擅长遵循品牌语音和响应指南,并开发用户可以信赖的面向客户的体验。此外,Claude 3模型在生成流行结构化输出方面表现更佳,例如JSON格式——这样就更容易对Claude进行指导,用于自然语言分类和情感分析等用例。
模型细节
Claude 3 Opus 是 Anthropic 最智能的模型,在高度复杂的任务上表现出市场最佳性能。它可以在开放式提示和未见情况下出色地流畅进行,并具有类似人类的理解能力。Opus 向 Anthropic 展示了生成式 AI 所能实现的极限。
Claude 3 Sonnet 在智能和速度之间取得了理想的平衡——特别是对于企业工作负载而言。与同行相比,它以较低的成本提供强大的性能,并且专为大规模AI部署的高耐用性而设计。
Claude 3 Haiku 是 Anthropic 最快、最紧凑的模型,可实现几乎即时的响应。它以无与伦比的速度回答简单的查询和请求。用户将能够构建无缝的 AI 体验,模拟人类交互。
模型可用性
Opus 和 Sonnet 今天就可以在 Anthropic 的 API 中使用,该 API 现在已经普遍可用,开发人员可以立即注册并开始使用这些模型。Haiku 将很快推出。Sonnet 正在为 claude.ai 上的免费体验提供支持,而 Opus 则适用于 Claude Pro 订阅用户。
Sonnet 也可以通过亚马逊的 Bedrock 和 Google Cloud 的 Vertex AI 模型花园进行使用,Opus 和 Haiku 很快也将推出。
更智能、更快、更安全
Anthropic 认为模型智能远未达到极限,并计划在接下来的几个月内频繁更新 Claude 3模型系列。Anthropic 还很高兴地发布了一系列功能,以增强 Anthropic 模型的能力,特别是针对企业用例和大规模部署。这些新功能将包括工具使用(也称为函数调用)、交互式编码(也称为 REPL)以及更先进的代理能力等。
PS:本号也开启了订阅专栏 ,内容涵盖一线投资人以及海外独角兽公司 CXO 的最新洞察与对谈。
热门跟贴