阿里大模型重要一步!通义千问2.5-Turbo来了!之前大家抱怨上下文太短,现在直接上百万token!什么概念?10部长篇小说、150小时语音转录、3万行代码,都能一口气塞进去!这还没完,阿里说还将推出更大更强长上下文模型
话不多说直接上Qwen2.5-Turbo的表现:
Qwen2.5-Turbo@表现
速度更快:处理百万token,首个token输出时间从4.9分钟缩短到68秒!4.3倍的加速
价格更低:还是 ¥0.3 / 百万token!同样的价格,比GPT-4o-mini多处理3.6倍的token!
上下文更长:百万token上下文,相当于一百万英文单词或一百五十万汉字!写小说、写代码、分析超长文本,都轻轻松松
在RULER、LV-Eval和LongbenchChat等长文本理解数据集上,Qwen2.5-Turbo表现出色,吊打其他开源的百万token上下文模型!和GPT-4o-mini和Qwen2.5-14B-Instruct相比,短文本任务性能差不多,但上下文长度是它们的8倍!
通过使用稀疏注意力机制,他们成功地将注意力计算压缩了约12.5倍,在不同的硬件配置下实现了3.2到4.3倍的推理加速!
测试@大海捞针
他们还做了“大海捞针测试(Passkey Retrieval )”,在一百万个token的无意义文本中藏了一些数,Qwen2.5-Turbo 可以完美地捕捉到所有隐藏数字,证明了该模型在超长上下文中捕捉详细信息的能力
实例演示@Example
例子:理解长篇小说
例子:理解大型代码仓库
例子:理解多篇文档
试用@体验地址
API:
https://help.aliyun.com/zh/model-studio/getting-started/what-is-model-studio
HuggingFace Demo:
https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo
ModelScope Demo:
https://www.modelscope.cn/studios/Qwen/Qwen2.5-Turbo-1M-Demo
⭐星标AI寒武纪,好内容不错过⭐
用你的赞和在看告诉我~
热门跟贴