腾讯混元发布Hy4 preview,总参数达770B,激活参数49B,支持1M上下文。模型定位生产力场景,已开源并提供HuggingFace和GitHub入口,同时保持稳定低价策略。
作者补充称,Hy4 preview在AI研究中能自主发现推理瓶颈,通过算子融合与通信优化,将端到端吞吐提升31.8%。这一提升在不同上下文长度和并发条件下均保持稳定。
打开网易新闻 查看精彩图片
大参数模型通常面临推理成本高、吞吐受限的难题。Hy4 preview的优化思路在于让模型自己定位瓶颈,而非依赖人工调优,这为长上下文场景下的部署提供了更实际的路径。
打开网易新闻 查看精彩图片
开源加上低价,意味着开发者可以低成本接入测试。对于需要处理超长文本的生产环境,31.8%的吞吐提升可能直接影响单次推理的耗时和成本。
热门跟贴