实时理解长视频、听清鸡尾酒会难题，这个团队将视频音频理解推入物理世界复杂情境|系列模型|视频流|长视频

过去一年，大模型正在加速突破智能的边界。

从语音的理解与生成，到图像识别、视频分析，越来越多的模态被纳入模型的能力版图。AI 开始能听见声音、看见画面，也能处理越来越丰富的现实信息。

然而，「能处理多少种模态」衡量的是感知的广度，而不是理解的深度。接入更多信息，并不等于真正理解了世界。

因为现实世界的信息从不孤立存在 —— 它的意义不在单一信号本身，而在于信号之间的关联，以及它们随时间的变化：一句话的含义，取决于说话人是谁、以怎样的语气、在怎样的上下文中说出；一个画面的含义，取决于此前发生了什么、画面里的人物是什么关系、环境正在如何演变。只有把这些分散的信息放进同一个、且持续延展的上下文里，不断追踪其关系与变化，模型才可能形成对真实情境的完整认知。

因此，多模态的下一步，关键不在于继续拓宽能接入的信息类型，而在于把它们汇入统一的情境 —— 从「识别孤立的内容」，走向「理解连续、动态且相互关联的真实世界」。

这正是模思智能与 OpenMOSS 团队近期一系列模型与产品发布背后的共同主线：从 MOSS-VL 长视频理解模型、到 MOSS-Transcribe-Diarize 最强多说话人转写模型，推动 AI 从「感知多种信息」，迈向「理解完整情境」。

MOSS 背后：从复旦 MOSS 到情境智能

模思智能对「情境智能」的探索，并非从单一模型或产品开始，而是团队在大模型、多模态与智能交互领域的长期积累。

不少人第一次听到 MOSS，是在 2023 年。彼时，复旦团队发布的 MOSS 作为国内最早引发广泛关注的类 ChatGPT 大模型，曾在中文大模型浪潮早期制造了一个标志性时刻。此后，团队的探索逐步从语言智能延伸至更加丰富的真实世界信息，技术方向也从单一语言模型，拓展至语音、音频、视觉等多模态模型体系。

在这一技术积累与演进的基础上，模思智能孵化于上海创智学院与复旦大学 OpenMOSS 团队，邱锡鹏教授担任首席科学家。模思智能的使命是通过联接 AI、人与物理世界，构建情境智能（Contextual Intelligence），让智能在真实世界中理解、建模和交互。

围绕这一方向，模思智能已陆续开源和发布了多条模型线，包括：

语音合成模型 MOSS-TTS；
音频转写模型 MOSS-Transcribe-Diarize；
视频理解模型 MOSS-VL；
音频理解模型 MOSS-Audio；
音视频生成模型 MOVA；
音乐理解模型 MOSS-Music。

其中，MOSS 系列模型在多个领域已达到开源 SOTA 级别。其 TTS Family 模型在 Hugging Face 等开源社区受到广泛关注，下载量突破 200 万，多个生成和理解模型也曾长期位于 Trending 模型榜单前列。

而在 WAIC 世界人工智能大会前夕，模思智能与 OpenMOSS 团队又在多模态理解侧连续发布新进展：一边面向实时视频流理解的 MOSS-VL-Realtime 开源，一边推出多说话人转写模型
MOSS-Transcribe-Diarize-0.9B。与此同时，面向创作者和开发者的 Mossland AIGC 音视频创作平台与 Moss 开放平台也进入公测阶段。

这意味着，MOSS 的多模态能力正在从模型发布，进一步走向应用场景。

MOSS-VL-Realtime：让视频理解从「看录像」走向「看直播」

MOSS-VL-Realtime 关注的是一个更接近真实世界的问题：AI 如何理解正在发生的视频流。

传统视频理解模型大多采用离线范式。模型像是在看一段已经结束的录像：先接收完整视频，再回答问题。一旦开始回答，它通常无法继续感知正在变化的新画面。

但现实世界没有进度条。它不会暂停，也不会等模型看完再继续。

MOSS-VL-Realtime 正是面向这种持续视频流场景而设计。它试图让视频理解从「看录像」变成「看直播」：模型可以边看边答，也可以在信息不足时保持沉默，并在画面发生变化后及时修正判断。

https://mp.weixin.qq.com/s/eiFXdsi56FGVsjaZF1RUnA

实时观察与反馈

三种更自然的视频交互方式

MOSS-VL-Realtime 的交互方式与传统离线视频理解模型不同，主要体现在三点：

随时应答：用户可以在视频播放任意时刻提问，模型基于当前已观测画面即时回应，而不必等待整段视频结束。
主动沉默：当画面中没有关键事件，或信息不足以形成判断时，模型将保持沉默，持续观察。
边看边答，及时纠正：模型在生成回答时，新的画面仍会持续进入上下文。一旦视频内容发生突发转折，模型可立刻打断甚至修正此前回答。

实时解说与解读

这种能力来自同一底层设计：视频帧、用户提问与模型回答被组织进同一条 token 流中。提问可以像直播弹幕一样插入时间线任意位置，对话则发生在持续流入的画面之间。

实时输入表示。上半部分为人类视角：观看与回答同步进行，画面发生变化时，模型及时纠正其回答。下半部分为模型视角：同一过程表示为单条交错的 token 序列，携带绝对时间戳的视频帧插入尚未闭合的对话轮次，用户提问在任意时刻拼接为新轮次，<|silence|> 为显式的沉默 token。

面向长视频与实时流的架构设计

在架构层面，MOSS-VL-Realtime 采用了多项针对实时视频理解的设计：

交叉注意力架构：视觉编码与语言推理解耦，降低动态视频流响应延迟；
绝对时间戳：每一采样帧通过专用 token 锚定到精确时间；
XRoPE：将文本 token 与视频 patch 映射到统一三维坐标空间；
256K 上下文窗口：可将小时级别的视频放入单个上下文。

全链路工程优化

训练基础设施同步升级。首次实现了支持 Cross-Attention-Mask 的 FlashAttention，训练原生支持 2048 帧序列，并在常规 1fps 之外支持多达 16fps 采样 —— 小球碰撞、跳绳计数这类快速变化的画面，由此进入模型的可感知范围。
数据层面的精细化管理同样是核心。针对通用多模态及流式视频数据建立了更严密的组织与处理标准。这种对质量的把控，从底层保障了模型在复杂动态场景下的表现。
推理性能实现跨越式提升。目前模型已完成从底层训练代码到推理引擎的全链路适配，包含 SGLang 官方支持。实测视频推理端到端吞吐较 Transformers 原生实现提升超4.57 倍；在同使用 SGLang 框架的条件下，推理性能较 Qwen3-VL 提升5.48 倍

榜单

MOSS-VL-Realtime 的流式交互能力显著提升，在多项流式视频理解基准上达到开源 SOTA，其中「主动开口」能力尤为突出：在OmniMMI 的 Proactive Alerting、StreamingBench 的 Proactive Output 以及 ProactiveVideoQA三项主动性评测上均取得领先成绩。

MOSS-Transcribe-Diarize：0.9B 模型挑战多说话人长音频转写

如果说 MOSS-VL-Realtime 代表了 MOSS 在视频理解侧对持续情境的探索，那么在音频侧，MOSS 也迎来了新的进展：多说话人转录模型 MOSS-Transcribe-Diarize 完成性能升级，并首次推出开源的 0.9B 版本。

多说话人转录场景的传统方案通常采用 ASR、说话人分离和时间对齐等多个模块级联完成。这样的 Pipeline 工程上较为成熟，但前序环节产生的错误可能继续向后传播，在复杂长音频中造成转写错误、说话人归属混乱或时间戳漂移。

此前发布的闭源版 MOSS-Transcribe-Diarize 已经改变了这一处理方式：它将语音转录、说话人归属和时间戳预测统一建模为一个自回归生成任务，在一次推理中直接生成带有说话人标签和时间戳的结构化文本。

此次，MOSS-Transcribe-Diarize在性能升级的同时，首次推出并开源仅0.9B 参数的轻量版本，让这套端到端多说话人转录能力能够以更低成本部署和使用。

MOSS-Transcribe-Diarize-0.9B采用 Whisper-Medium 音频编码器与 Qwen3-0.6B 风格 Causal Decoder 组成的多模态架构，将文本、说话人和时间信息放在同一上下文中联合建模。时间信息被离散为可生成的 Token，使模型无需独立的 ASR、Diarization 和 Alignment 模块，即可直接输出：

基于百万小时训练数据和 128K 上下文能力，模型支持最长约 90 分钟音频的一次性输入，无需切片、拼接和复杂后处理，适用于多人会议、频繁插话、长时间对话及部分重叠语音等场景。长上下文带来的不只是更长的输入能力，也有助于模型在多轮发言中保持说话人标签和时间戳的一致性。

更重要的是，这些能力被压缩进了一个 0.9B 模型。在 NVIDIA 4090 单并发环境下，其生成速度约为 100 Token/s，RTF 为 0.017，5 至 10 分钟音频可在约 30 秒内完成转录，在准确率、处理速度和部署成本之间取得平衡。

在 AISHELL-4 多说话人会议转录基准上，
MOSS-Transcribe-Diarize-0.9B的字符错误率 CER 为 14.19%，多说话人综合错误率 cpCER 为 14.98%，反映说话人归属额外误差的 Δcp 仅为 0.79。在所列对比模型中，三项指标均取得最佳结果；其 cpCER 相较部分主流模型的降幅超过 40%。

模型还加入了热词增强能力。用户可以预先配置人名、机构名、产品型号和行业术语，在识别阶段提升专有名词的准确率。结合说话人标签与时间戳，转录结果可以进一步定位：哪个人在什么时间提到了哪些关键内容。

这使得
MOSS-Transcribe-Diarize-0.9B不只适用于通用会议转写，也可以用于企业会议纪要、客服质检、访谈整理和专业内容生产等场景。

登顶 Hugging Face 榜单，Pro 版本同步上线

开源后，
MOSS-Transcribe-Diarize-0.9B很快登上 Hugging FaceAudio-Text-to-Text模型 Trending 榜单第一名。而在7/14 公布的「INTERSPEECH2026 多语种对话语音语言模型挑战赛」（MLC-SLM）中，MOSS-Transcribe-Diarize 也拿到了冠军。

挑战赛完整结果请见：
https://www.datatang.com/mcslm

与此同时，模思智能还上线了更强的MOSS-Transcribe-Diarize Pro版本。相比开源版本，Pro 版本面向商业场景，在说话人区分、上下文理解、转写准确率和多语言能力等方面进一步增强，可服务于企业会议转录、客服质检、访谈整理和内容生产等场景。开发者可以在模思开放平台（platform.mosi.cn）进行调用。

模思智能还同步发布了面向复杂英语场景的语音识别模型MOSS-Transcribe。据介绍，该模型针对标准英语、多样口音、低声耳语等真实场景进行了专项优化，并在 OPENASR Leaderboard 中取得全球开源模型第一的表现。

从开源模型到产品平台：Mossland 与 Moss 开放平台上线公测

模型能力要走向真实世界，不能只停留在论文、榜单和 Demo 中。

在连续开源理解侧模型的同时，模思智能也上线了面向创作者和开发者的产品入口：Mossland AIGC 音视频创作平台与Moss 开放平台。

Mossland：面向创作者的一站式 AIGC 音视频平台

Mossland 是一个以语音能力为核心的 AIGC 一站式创作平台。平台以语音生成能力为原子功能，聚合语音、图像、视频等多模态模型能力，帮助创作者完成内容生产。

其语音合成能力来自模思智能自研的MOSS-TTS Family，包括千种音色以上的音色库、高保真零样本音色克隆、多角色对话、角色声音设计、音效生成与实时流式语音等能力，并围绕视频配音、AI 播客、图视频模板、多模态内容制作工作流等真实创作场景，为创作者提供以声音为起点的智能创作体验。

Mossland 地址：https://mossland.mosi.cn

Moss 开放平台：向开发者开放 MOSS 模型能力

MossAPI（Moss 开放平台）则面向开发者开放 MOSS 系列模型能力，强调开放接入和灵活集成。开发者可以通过 API 调用语音合成、语音识别、音视频理解等能力，并与 Mossland 创作者平台共用积分系统。平台中的 Playground 支持开发者在线体验最新上线的 MOSS 模型。其中，MOSS-Transcribe-Diarize Pro和MOSS-VL已经或即将通过 Moss 开放平台提供 API 调用服务。前者可用于企业会议转录、客服质检和内容生产；后者则可应用于更广泛的视频理解与视觉理解场景。

Moss 开放平台地址：https://platform.mosi.cn

多模态模型正在迈向「情境智能」

过去一年，多模态大模型的演进，主要围绕能力边界的扩展展开：从看懂图像、听懂声音，到理解视频、生成多模态内容，模型所能处理的信息类型不断增加。

但当多模态能力逐渐成为基础配置，下一阶段真正决定模型上限的，是能否在连续、动态的真实环境中，理解人物、事件与空间之间的关系，捕捉状态变化，并在更长的上下文中形成稳定认知。

MOSS-VL-Realtime 让模型在动态视频流中理解「此刻正在发生什么，以及场景如何变化」。MOSS-Transcribe-Diarize 则解决的是长音频中「谁在说话、何时发生切换」的持续追踪问题；二者聚焦于不同模态，却指向同一目标：让 AI 从识别孤立信息，进一步走向对完整情境的理解与建模。

从 MOSS-TTS 、MOSS-Transcribe-Diarize 到 MOSS-VL，再到 Mossland 与 Moss 开放平台，模思智能正在持续将多模态模型能力从开源项目、技术报告和评测榜单，推进到创作者、开发者和产业客户可直接使用的产品体系中。

在正式亮相 WAIC 前夕，模思智能密集发布的一系列模型和产品，也让外界看到了 MOSS 路线的进一步清晰化：不止于扩展多模态能力，而是进一步联接 AI、人与物理世界，构建能够在真实环境中理解、建模和交互的情境智能。

这也让模思智能即将在 WAIC 上的首秀，更值得期待。

MOSS-VL 相关链接

本代共开源三个同源模型：Realtime面向持续视频流，Instruct承接离线任务，Base供继续预训练与微调，均为 Apache-2.0 协议。