衡宇 发自 凹非寺
量子位 | 公众号 QbitAI
现在,最强数学大模型,人人都可上手玩了!
一觉醒来,阿里千问大模型团队发布了Qwen2-Math的Demo,抱抱脸在线可玩。
惊喜的是,如果嫌输入数学公式比较麻烦,可以把想问的题截图or扫描,上传即可解题。
整得挺方便。
![](http://dingyue.ws.126.net/2024/0820/a153a8b5j00sii7ar000od000u000fxm.jpg)
试玩界面上明确写着,“这个试玩界面的OCR功能,由阿里千问大模型团队Qwen2-VL提供支持;数学推理能力,由Qwen2-Math支持。”
阿里高级算法专家林俊旸也在推特评论区进一步解释:
目前,Qwen2-VL和Qwen2-Math还是各自负责一部分。
但不久的将来,我们会把多模态能力和数学推理能力结合到一个模型上哟。
![](http://dingyue.ws.126.net/2024/0820/058f1ac1j00sii7ar0015d000u000cmm.jpg)
不少网友对这种交互模式挺买账:
歪瑞古德!用图像来上传,然后等大模型解决问题,喜欢!
![](http://dingyue.ws.126.net/2024/0820/b3539016j00sii7ar000sd000u0007wm.jpg)
那么,最强数学大模型Qwen2-Math,上手效果怎么样?
效果怎么样?这就玩一把
是时候让Qwen2-Math过五关斩六将了!
先来几道比较简单的计算题开开胃。
提前说明,两位体验过程中,Qwen2-Math不是一边算一边显示的,而是计算完毕后直接显示过程和结果。
(而且应该是越来越多人开始玩了,结果生成时间逐渐拉长)
第一题:“计算AxA+A=240”中,A的值。
Qwen2-Math给出了正确答案,A=14或A=-16。
![](http://dingyue.ws.126.net/2024/0820/3a2bccd9j00sii7ar001ld000u000idm.jpg)
第二题:给定a的值,计算等式的结果。
Qwen2-Math计算出,答案是0,也是对的。
![](http://dingyue.ws.126.net/2024/0820/654d6a61j00sii7ar001dd000u000dzm.jpg)
第三题:(A+3)(A+4)(A+5)=120,求A的值。
Bingo!答案是1。
![](http://dingyue.ws.126.net/2024/0820/5feffdaaj00sii7ar0016d000u0009vm.jpg)
OK,热身结束,给Qwen2-Math点难度看看。
那就来一道已经是(数学)大模型测评的标配:
9.9和9.11哪个更大?
![](http://dingyue.ws.126.net/2024/0820/c1a7b665j00sii7ar0028d000mk00wqm.jpg)
Qwen2-Math自信回答:
9.9比9.11更大!
![](http://dingyue.ws.126.net/2024/0820/6e926254j00sii7ar0006d0005e006cm.jpg)
那就再上点难度!
扔给它一道截至目前,只有GPT-4o答对过的题:
一个外星人来到地球后等可能选择以下四件事中的一件完成:
1、自我毁灭;
2、分裂成两个外星人;
3、分裂成三个外星人;
4、什么都不做。
此后每天,每个外星人均会做一次选择,且彼此之间相互独立。
求地球上最终没有外星人的概率。
这道题,Qwen2-Math花费了约30秒左右的时间,给出答案:1。
很遗憾,答案是错误的,正确答案是√2减1。
![](http://dingyue.ws.126.net/2024/0820/55d23105j00sii7ar002od000u000sgm.jpg)
我们在各大平台的评论区逛了一下,除了计算错误以外,还有另一种可能导致答案不正确——
那就是Qwen2-VL在识别题目的时候,本身就出错了。
错在第一步,这样的话大模型得出的肯定就不是正确答案。
![](http://dingyue.ws.126.net/2024/0820/00bfbbfej00sii7ar001td000u000q7m.jpg)
同时,林俊旸还在网友的评论区表示:
咱们Qwen2-Math目前还不能做几何题。
![](http://dingyue.ws.126.net/2024/0820/b6221ba3j00sii7ar000fd000u0004zm.jpg)
用中文提问也可以
这次的主角Qwen2-Math,基于通义千问开源大语言模型Qwen2研发,由阿里千问大模型团队在十天前发布。
它专用于数学解题,并且能够解决竞赛级试题。
Qwen2-Math总共有三个参数量的版本:
72B,7B和1.5B。
![](http://dingyue.ws.126.net/2024/0820/0436d383j00sii7ar0005d0006i006km.jpg)
在Qwen2-Math-72B的基础之上,千问团队还微调出了Instruct版本。
这也是Qwen2-Math的旗舰模型,它是一个数学专用的奖励模型,将奖励信号与正误判断信号结合作为学习标签,再通过拒绝采样构建监督微调(SFT)数据,最后在SFT模型基础上使用GRPO方法优化。
Qwen2-Math-72B-Instruct以84%的准确率处理了代数、几何、计数与概率、数论等多种数学问题。
并且一经发布就在数学大模型中“登基”,在MATH数据集上比GPT-4o多得了7分,按比例算高出了9.6%。
直接超越开源Llama 3.1-405B以及闭源的GPT-4o、Claude 3.5等。
![](http://dingyue.ws.126.net/2024/0820/a542e39ej00sii7ar000id000hs00a0m.jpg)
截至发稿,抱抱脸上Qwen2-Math-72B-Instruct的下载量超过了13.2k。
而且有个最新发现:
虽然团队声称Qwen2-Math目前还是主要针对英文场景,但如果拿中文题目去问它,Qwen2-Math还是能进行解答的。
只不过是用英文回答你罢了。
据了解,Qwen2-Math的中英双语版本将会在之后推出。
参考链接:
[1]https://huggingface.co/spaces/Qwen/Qwen2-Math-Demo
[2]https://x.com/Alibaba_Qwen/status/1825559009497317406
[3]https://x.com/JustinLin610/status/1825559557411860649
热门跟贴