腾讯发布混元Turbo大模型，推理效率提升100%|大模型|推理|混元turbo|腾讯云

在日前举行的2024腾讯全球数字生态大会上，腾讯方面正式发布了其从训练数据、模型架构、训练策略、训练框架和软硬件体系等方面实现全链路自研的新一代AI大模型混元Turbo，并宣布其已在腾讯云正式上线。

据腾讯方面介绍，混元Turbo大模型采用了MoE（混合专家模型）架构，具备较强的中文创作能力、逻辑推理能力、数学计算和多轮对话能力，并且在“文生图”、“文生视频”、“文生3D”，以及“图+视频生文”等能力方面较为突出。

同时，混元Turbo不仅在性能上实现了大幅提升，还带来了推理成本的显著下降。据称，混元Turbo较上一代产品的推理效率提升100%、解码速度提升20%，但推理成本则降低了50%。值得一提的是，其每千个tokens输出价格为0.05元、每千个tokens输入价格仅0.015元。

据不久前中文大模型测评基准SuperCLUE发布的《中文大模型基准测评2024年8月报告》（以下简称为《报告》）显示，在11个能力项的测评中，混元Turbo-Preview（预览版）在指令遵循、代码、逻辑推理、长文本、安全、工具使用、语言理解、知识百科等8项核心任务上排名国内第一。此次测评由理科、文科和Hard三大维度构成，其中在理科和文科领域，混元Turbo-Preview均居于第1名；而在Dard任务中，混元Turbo-Preview表现出色、取得了74.33分，同时也是国内唯一超过70分的大模型，仅与ChatGPT-4o有微小差距。

在此次活动中，腾讯云方面还正式发布AI infra品牌“腾讯云智算”，并基于这一基础设施打造了“底座+模型+工具+应用”的大模型产品矩阵。

据腾讯云方面介绍，“腾讯云智算”是一个集计算、存储、网络于一体的高性能智算底座，能够为AI创新输出性能领先、多芯兼容、灵活部署的智算产品能力，并且帮助企业突破算力瓶颈、加速AI应用的落地。

在稳定性和性能方面，“腾讯云智算”集群千卡单日故障数已经刷新到0.16、是行业水平的1/3，通信时间缩短到6%、是行业水平的50%，数据读写效率是业界的10倍、1分钟就能完成万卡checkpoint写入。同时通过整合软硬件技术能力，该集群从机器上架到开始训练可以做到只需1天，相比业界以月为单位大幅缩短。

此外，腾讯大模型产品矩阵在“腾讯云智算”底座上还具有以腾讯混元大模型为代表的模型层、知识引擎为代表的工具平台层，以及不同场景的应用层。

对此腾讯集团副总裁、腾讯云总裁邱岳鹏表示，“大模型和云是密不可分的，大模型在云上训练，同时大模型能力通过云向外输出；另一方面，云产品也通过与大模型的深度融合、显著地增强能力，通过这样不断地迭代，让客户在云上获得更全面的业务增长”。