文档、图表、化学结构、乐谱、音频、视频——这些看起来毫不相干的输入,被塞进同一个模型里解析。Youtu-Parsing-Omni 的做法是:用一个共享的 Youtu-Omni-Encoder 搭配 OmniSchema,把多模态输入统一转成结构化记录。

打开网易新闻 查看精彩图片

它的输出不是一段笼统的文字描述,而是带定位信息的记录:图像内容挂到边界框上,音频和视频内容挂到时间戳上。这样一来,下游的语言模型要核对某个说法时,可以直接定位到证据所在的位置,不必反复处理原始媒体。

这套系统覆盖十项任务,包括文档解析、图表解析、化学结构解析、乐谱解析、音频解析和视频解析。一个 5B 参数的单一检查点在 OmniDocBench v1.6 上拿到 96.96 的 Overall 成绩,在 OmniParsingBench 上的平均分为 75.08。

在开放权重模型里,这个成绩处于领先位置。报告同时指出,它的优势主要集中在音频和视频两类任务上。

共享感知加统一输出格式,是这篇论文的核心主张:同一套编码器可以服务多种解析任务,输出结构也保持一致。对下游应用来说,这意味着接入一种格式,就能消费来自不同模态的解析结果。