打开网易新闻 查看精彩图片

阿里大模型重要一步!通义千问2.5-Turbo来了!之前大家抱怨上下文太短,现在直接上百万token!什么概念?10部长篇小说、150小时语音转录、3万行代码,都能一口气塞进去!这还没完,阿里说还将推出更大更强长上下文模型

话不多说直接上Qwen2.5-Turbo的表现:

Qwen2.5-Turbo@表现

速度更快:处理百万token,首个token输出时间从4.9分钟缩短到68秒!4.3倍的加速

价格更低:还是 ¥0.3 / 百万token!同样的价格,比GPT-4o-mini多处理3.6倍的token!

上下文更长:百万token上下文,相当于一百万英文单词或一百五十万汉字!写小说、写代码、分析超长文本,都轻轻松松

打开网易新闻 查看精彩图片

在RULER、LV-Eval和LongbenchChat等长文本理解数据集上,Qwen2.5-Turbo表现出色,吊打其他开源的百万token上下文模型!和GPT-4o-mini和Qwen2.5-14B-Instruct相比,短文本任务性能差不多,但上下文长度是它们的8倍!

打开网易新闻 查看精彩图片

通过使用稀疏注意力机制,他们成功地将注意力计算压缩了约12.5倍,在不同的硬件配置下实现了3.2到4.3倍的推理加速!

打开网易新闻 查看精彩图片

测试@大海捞针

他们还做了“大海捞针测试(Passkey Retrieval )”,在一百万个token的无意义文本中藏了一些数,Qwen2.5-Turbo 可以完美地捕捉到所有隐藏数字,证明了该模型在超长上下文中捕捉详细信息的能力

打开网易新闻 查看精彩图片

实例演示@Example

例子:理解长篇小说

 Qwen2.5-Turbo上下文扩展至百万token:更大更强的也在路上
打开网易新闻 查看更多视频
Qwen2.5-Turbo上下文扩展至百万token:更大更强的也在路上

例子:理解大型代码仓库

 Qwen2.5-Turbo上下文扩展至百万token:更大更强的也在路上
打开网易新闻 查看更多视频
Qwen2.5-Turbo上下文扩展至百万token:更大更强的也在路上

例子:理解多篇文档

 Qwen2.5-Turbo上下文扩展至百万token:更大更强的也在路上
打开网易新闻 查看更多视频
Qwen2.5-Turbo上下文扩展至百万token:更大更强的也在路上

试用@体验地址

API:

https://help.aliyun.com/zh/model-studio/getting-started/what-is-model-studio

HuggingFace Demo:

https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo

ModelScope Demo:

https://www.modelscope.cn/studios/Qwen/Qwen2.5-Turbo-1M-Demo

⭐星标AI寒武纪,好内容不错过

用你的在看告诉我~