针对端到端全模态大模型（OmniLLMs）在跨模态对齐和细粒度理解上的痛点，浙江大学、西湖大学、蚂蚁集团联合提出 OmniAgent。这是一种基于「音频引导」的主动感知 Agent，通过「思考 - 行动 - 观察 - 反思」闭环，实现了从被动响应到主动探询的范式转变。
在 Daily-Omni 等多个基准测试中，其准确率超越 Gemini 2.5-Flash 和 Qwen3-Omni 等开闭源模型。
- 论文地址：https://arxiv.org/pdf/2512.23646
- 论文主页：https://kd-tao.github.io/OmniAgent
- 发起实验室ENCODE LAB：https://westlake-encode-lab.github.io/
背景与痛点
- 端到端全模态模型虽然实现了视听统一，但往往受限于高昂的训练成本和困难的跨模态特征对齐，导致在细粒度跨模态理解上表现不佳；
- 基于固定 Workflow 的智能体依赖人为设定僵化的流程，缺乏细粒度和灵活性，无法根据问题自主的进行规划与信息获取；
- Caption-based 视频智能体需要在分析问题之前，先针对整个视频构建帧 caption 数据库，随后基于视频字幕数据库来理解内容，但这种方法计算成本高，难以捕捉细节的跨模态信息。
相比之下，OmniAgent 引入了一种全新的主动感知推理范式。通过在迭代反思循环中策略性地调度视频与音频理解能力，该方法有效攻克了跨模态对齐的难题，从而实现了对视听内容的细粒度理解。
方法论
OmniAgent 摒弃了固定的工作流，采用了「思考 - 行动 - 观察 - 反思」闭环机制 。
1.思考：OmniAgent 会根据问题进行分析，自主决定「听」还是「看」。
2.行动：根据计划，OmniAgent 会从构建的多模态工具中选取合适的工具进行调用：
- 事件工具：利用音频能够高效捕捉全局上下文的特性，首创音频引导事件定位，快速锁定关键时间窗口，避免对长视频进行无效的视觉扫描 。
- 视频工具：包含粗粒度的全局视频问答，以及在特定时间内基于更高帧率进行分析的片段问答工具。
- 音频工具：涵盖音频全局描述、细粒度问答，以及支持精确时间戳的语音转录 （ASR）。
3.观察与反思机制：智能体接受工具结果，评估目前已有的证据能否正确的回答问题，并且结合之前在多步推理中进行跨模态一致性检查，确保视听证据互证，解决幻觉与对齐问题。
效果如何？
OmniAgent 在三个主流视听理解基准测试中均取得了 SOTA 成绩，显著优于现有的开源及闭源模型：
1.Daily-Omni Benchmark：准确率达到 82.71%，超越 Gemini 2.5-Flash (72.7%) 和 Qwen3-Omni-30B (72.08%)，提升幅度超 10% 。
2.OmniVideoBench：在长视频理解任务中，准确率达 59.1%，大幅领先 Qwen3-Omni-30B (38.4%) 。
3.WorldSense:OmniAgent 也保持了领先的准确度。
未来愿景
- OmniAgent 的设计理念有很高的扩展性，能够继续结合其他模态的工具；
- OmniAgent 能够帮助生成高质量的 COTT 数据，用来构建可以自我调用工具的下一代智能体全模态模型。
总的来看，OmniAgent 证明了在全模态理解任务中，音频引导的的主动感知策略是解决跨模态对齐困难、提升细粒度推理能力的有效路径。该工作为未来的全模态 Agent 算法设计提供了新的范式参考。
热门跟贴