7月6日,腾讯混元Hy3发布,这也是姚顺雨加入腾讯后的期中考试答卷。
和preview版本一样,正式版依旧是快慢思考融合的模型,依旧MoE架构,总参数295B,激活参数21B,支持到256K上下文。
但不同的是,在腾讯内部实测中,各项表现正式版都提升明显。
里面有几项值得单独说一下:
提升幅度达到断层的是MathArena Apex,数理综合能力上正式版分数足足翻了3倍;
提升幅度其次的是HLE,工具辅助文本推理从35.4涨到了53.2,提升了50%;
Terminal Bench 2.1,终端运维代码能力提升了13.7分,幅度在1/3。
当然要也有提升幅度较小的,SWE-bench Multilingual多语言代码,提升幅度不足10%。
相信各位也能看出来,这次正式版相对于预览版,并不是Hy2到Hy3 preview那种重构式的迭代,只是在补短板的方向上,迈出了一步。
先前和主流模型差距大的几项能力,都得到了大幅补足,虽说不是都超越顶尖模型,但要知道,Hy3的总参数295B,激活参数21B,和动辄1t甚至10t的超大模型并非同一赛道。
轻量级和性价比才是Hy3的特色,但在这两个特色前,Hy3已经能和那些大模型碰一碰了,姚顺雨这次通过后训练的确交出了一份很不错的答卷。
但是能力强不强,还得是实际场景来测。以下测试均在WorkBuddy中使用Hy3实现。
一、第一个场景:竞赛数学题。
Hy3用时5秒便给出了两个解法:
答案正确,且用时相比于Hy3 preview缩减了接近50%。
当然了,虽然说数学能力是Agent能力的底层之一,但大多数打工人还是不会用AI解题的。所以,接下来再看看其他真实办公场景的能力。
二、第二个场景:代码能力
Hy3给出了以下答案:
如果打分的话,客观来说能有个7分。逻辑是没有问题的,数学公式也没错,而且注释清晰,边界基础场景能跑通。
扣掉的3分在于代码性能还是有硬伤,题目约束上限 (R=10^6),代码暴力逐一遍历,比较低效,也没有考虑到输入校验的情况。
但是,对于轻量化办公的临时代码,Hy3已经提供了可用性和易用性。
三、第三个场景:文件整理
部分不会代码的人,在办公中也会用到一些代码处理起来更方便的场景,文件整理算是一个。
1400多个文件,要求Hy3进行重复性筛选,并且压缩成压缩包后改为需要联网校检的中文名,并进行编号。
这属于一个很庞大的文件整理项目了,运行大概5分钟后,Hy3弹出两个个性化选项:
在总用时19分9秒后,Hy3处理完了这份文档整理任务。
具体文件输出很稳定:
其中部分无中文名的文档保留英文名。
但是也能看到一些小纰漏,比如压缩文件夹中存在很少一部分依旧保留了地区标识。
但剩余这部分如果人工删除,大概只需要十分钟即可完成。而整个工作流假如都由用户自行操作完成,大概需要一下午时间。
值得注意的是,在Hy3 preview中,该任务是无法顺畅完成的。
四、第四个场景:调研后做一个PPT
给予一个模糊的PPT需求,看其PPT效果。
10分钟后,Hy3交卷:
审美是基本合格的,整体内容进行了简单检查后,无事实错误。
但依旧存在一个问题,涉及现实图片的部分,Hy3并未贴上,导致存在空白部分:
如果是搭建一个不需要复杂功能的PPT框架,Hy3是合格的。但如果是直接输出成品,那么Hy3短板还是比较明显。
五、第五个场景:生成一个小应用
一个几乎无法通关的俄罗斯方块游戏在3分钟后就生成了:
UI审美相比于Hy3 preview有所提升,单个方块上下部分给予了色差,视觉效果更好了;但依旧提升空间巨大。
有谁会不想在摸鱼的时候急赤白脸地整一个自己做的小游戏然后玩耍呢?
而且对于打工人而言,这样的轻度办公辅助,还能体验一把当老板的快乐:同时把多个工作丢给Hy3后玩着手机等提交成果。
一路测评下来,不难发现一件事:Hy3相比于Hy3 preview,补足了短板,但并没有颠覆什么,属于是一次稳扎稳打的前进。
毕竟推导Hy2重建Hy3 preview用时3个月,从preview到正式版Hy3又仅仅用时3个月,对于姚顺雨来说时间并不充裕。
能拿出如此性能功能的模型,且凭借轻量化之姿能和头部大模型站一屋,属实不易了。
但相比于模型性能功能,Hy3真正的野心其实藏在暗处:协同。
在腾讯云发布模型的文章里,有一个有趣的小变动。
在先前Hy3 preview发布时,涉及到其他真实业务场景的部分,元宝是没有争议的C位:
但这一次,WorkBuddy成了新C位:
这其实不难理解,相比于C端大众尝鲜,WorkBuddy已经开始成长为用户“用AI办事”的工具了。
目前C端AI应用,普遍陷入了用户多、无法变现、产生现实价值不大甚至产生反向价值的困境,甚至于聊天智能体近几日遭遇政策下架。
在这个时候,模型导向的就不能再是解闷了,而是办事。
怎么办事向来是个难题,但对于腾讯而言似乎并非如此:全家桶的完整生态,每一个叠加AI都能赋予新的可能。
WorkBuddy是一个方向,微信是另一个方向:昨天微信直接放开了10亿Token,助力AI小程序计划上新Hy3。
而元宝这一端,搭配上Hy3也在重新培养用户习惯——聊天之外,还可以直接生成程序和文件。
老版本只能给建议:
新版本可以直接实操:
也就是说,元宝正在WorkBuddy化。
到这里姚顺雨要做什么就很清晰了:不是在短时间内拿出一个几万亿参数的模型,而是在腾讯全家桶AI化的节点,提供水电煤这样的基础资源。
按照这一方向,轻量化不是短板,而是迅速融入其他软件的长板:不占用过大空间、不对原有功能产生冲击,不扭曲用户已形成的操作逻辑,但偏偏能带来合适的提效。
因此相比于期待Hy4,我倒是更期待被混元赋能的全家桶的蜕变了。
热门跟贴