百万围观、HuggingFace多模态登顶，开源语音版「DeepSeek」爆火|上下文|大模型|模态

机器之心发布

在大模型快速迭代的背景下，语音交互正从「语音转文本（ASR）— 文本理解 — 文本转语音（TTS」的串联式架构，逐步走向端到端的实时语音生成。这一转变不仅关系到延迟和自然度，也直接影响语音系统在真实生产环境中的可用性。

在级联式语音交互架构下，每个模块分别负责语音识别、文本理解和语音合成等任务，这种架构在早期的应用中取得了成功。但随着对实时性和低延迟要求的提高，端到端语音交互系统逐渐成为主流，通过深度集成各个任务，减少中间转换步骤，显著提高响应速度，使交互变得更加即时和自然。

近期，FlashLabs 发布并开源了其实时语音模型Chroma 1.0，其定位为全球首个开源的端到端语音到语音模型

Chroma 1.0 发布之后，便在社媒爆火，吸引了大量的关注。X 上的官推帖子已经突破了百万浏览量。

多位知名的 X 博主对 Chroma 1.0 给予了很高的评价。

此外，在 HuggingFace 多模态榜单中，Chroma（4B 版本）排名第一。

该模型的研发负责人为 FlashLabs 创始人石一（Yi Shi）：

从公开信息和技术实现来看，该模型并非对现有语音模型的简单改进，而是一次围绕「实时性」目标展开的系统级重构。

本文将依次从技术架构、核心指标、论文贡献以及应用场景等角度，对 Chroma 进行一次评测式分析，并对原文中表述不准确的地方予以修正。

一、从级联到端到端：Chroma 的系统定位

传统语音系统通常采用多阶段流水线：

ASR → LLM → TTS

这一方案在准确率上已相对成熟，但在延迟、上下文连续性以及情绪一致性方面存在天然瓶颈。尤其在实时对话场景中，多模块串联会带来显著的推理延迟与状态同步成本。

Chroma 的核心目标，是构建一个语音到语音（Speech-to-Speech, S2S）的统一系统，将语音理解、语义建模与语音生成纳入同一整体框架中，从而降低系统复杂度并提升实时响应能力。

二、模型架构与关键设计

1 分层架构：从理解到合成

原文中曾将 Chroma 描述为「统一 Transformer 架构同时处理语音编码、语义建模与声学解码」，这一表述并不准确。论文指出，Chroma 采用分层多模块架构：

Reasoner：基于 Thinker 模块构建，负责多模态理解与文本生成。它使用 Qwen2-Audio 编码管道处理文本和语音输入，并通过跨模态注意力及 TM-RoPE 将语音和文本表示对齐。
Backbone：采用约 1 B 参数的 LLaMA 变体，用于生成每一帧的粗声学码。为实现个性化克隆，Backbone 通过 CSM-1B 将参考音频及其文本编码为嵌入前缀，并共享 Reasoner 的嵌入和隐藏状态作为上下文。
Decoder：约 100 M 参数的轻量模型，在每帧内自回归生成剩余的 Residual Vector Quantization (RVQ) 级别。这一设计减少了长上下文计算负担，细化了韵律与发音细节。
Codec Decoder：采用 Mimi vocoder 的因果卷积网络，将粗音码与细音码串联后重建为连续波形。系统使用 8 个码书，减少解码器在每帧的自回归步骤。

这种模块化的分层设计与原文所述的「统一 Transformer」不同，每个模块各司其职，共同完成 S2S 推理和生成。

2 交错日程与流式推理

为保证低延迟，Chroma 采用固定比例的文本 - 音频交错日程，论文中明确为1:2（即每个文本 token 对应两个音频码）。

具体操作过程中，Reasoner 首先输出文本 tokens 和隐藏状态；这些信息按上述比例交错并输入 Backbone 和 Decoder，后者再逐步生成离散声学码并由 Codec Decoder 重建为波形。

这种管线非一步直接「映射」语音到输出，而是通过多模块间的分工协作进行联合建模，从而避免了传统级联系统中的多次模态切换带来的信息损失。

3 参数规模与效率权衡

Chroma 1.0 的模型规模约为 40 亿参数级别。相较于追求超大模型规模，其设计更强调在延迟、吞吐与可部署性之间取得平衡：

相较于 7 B–9 B 的大模型，该规模具有明显效率优势，同时在多项指标上优于 0.5 B 级别的小模型。

三、核心技术指标评测

根据论文与实验结果，Chroma 在多个关键指标上表现出工程优势：

需要指出的是，论文评测重点放在实时交互可用性和个性化声音克隆上，而不是单一语音自然度指标。

四、论文视角：Chroma 的研究贡献

从论文结构来看，Chroma 的研究贡献主要体现在三个层面：

实时语音建模范式：系统性论证了端到端 Speech-to-Speech 架构在实时对话场景中的优势，并给出了工程可行的实现路径。
交错策略和模块化设计：在数据表示和模型结构上引入 1:2 文本–音频交错，并将Reasoner、Backbone、Decoder、Codec Decoder 分离。这种设计既降低延迟又兼顾语义推理和声学细节。
合成训练管线与评价方法：采用 LLM+TTS 构建高质量的语音到语音训练数据，并通过综合的客观指标（SIM、TTFT、RTF）和主观评测（NCMOS、SCMOS）验证系统性能。

整体来看，该论文兼具工程导向和系统研究价值，而非单点算法突破。

五、FlashAI：从模型到应用的落地路径

Chroma 并非孤立模型，其首要应用场景来自 FlashLabs 的语音产品FlashAI。在 FlashAI 中， Chroma 主要承担实时语音交互引擎的角色，典型应用包括：

企业级呼叫与客服