4月23日,腾讯混元Hy3 preview语言模型发布并开源。

这是一个快慢思考融合的混合专家模型,总参数295B,激活参数21B,最高支持256K上下文长度。

据介绍,这是混元迄今最智能的模型。

今年2月,腾讯混元重建了预训练和强化学习的基础设施。腾讯首席AI科学家姚顺雨表示,Hy3 preview是混元大模型重建的第一步,混元在继续扩大预训练和强化学习的规模并提升模型的智能上限。

记者|郑栩彤

编辑|瑜见