原标题：腾讯会议ASR能力升级：多讲话人区分、多模态长上下文理解能力提升
近日，腾讯会议ASR能力全面升级，基于腾讯天籁自研会议ASR，实现会议多讲话人区分、多模态上下文理解、实时音频流和超长音视频转录识别能力大幅提升，进一步推动会议信息作为上下文被完整、精准沉淀，并可被大模型、Agent快速理解和调用。衡量说话人归属准确度的核心指标 DER（说话人日志错误率），在复杂声学场景的公开测试集上首次降至10%以下。
相比于独白、语音指令等按住说话场景ASR，会议ASR天然面临着更多技术挑战：会议场景需实现“实时流媒体”即时转录，“超长录制音频”高性能转录，合理利用会议主题、共享材料等上下文信息。甚至存在一个会议室一台rooms设备，三四个人坐的很远，音色接近、发言重叠的情景，ASR不仅需要把字听对，还需知道每句话是谁说的。其中投屏的图片、ppt、视频等视觉信息常为多模态，它们是对ASR上下文理解的有力补充，而传统ASR并不能理解情景、领域以及当前屏幕共享的信息，导致其识别效果提升空间很有限。
转写不再张冠李戴，复杂环境也能区分发言人
腾讯会议“区分发言人”技术，对每位发言人进行特征匹配，可实现对同一个说话人的音频精准“分组”。同时，在激烈讨论中对话常常交叠，此时音频特征混杂，基于“多说话人重叠发言人分离”技术，腾讯会议将交叠语音通过“时频域变换”实现分离拆解再还原，大幅优化区分效果。衡量该场景的 CpWER（串联最小排列词错误率）同时评价“听清内容”和“归属正确说话人”能力，在公开测试集上，腾讯会议将这一指标的行业基准值降低30%。同时，在行业多说话人重叠、复杂声学场景公开集上，腾讯会议将之前行业主流方案的DER（说话人日志错误率）由24%水平首次降低至10%以下。相当于1小时的会议录音，错误归属的片段时长从15分钟降至5分钟左右。如今，在腾讯会议Rooms、录音笔中转写的逐字稿和纪要，都可以清晰的实现发言人区分。
同时，腾讯会议的声纹识别能力能进一步识别“发言人是谁”。团队成员只需在腾讯会议企业版里朗读一段文本，系统拆分完发言人后将通过声纹匹配到具体的人，准确率达97%，一端录入即可多端识别。
从“速记员”到“书记员”：多模态识别，会中即时转录、会后长音视频多轮精修
分清了人，还要听懂内容。会议里最容易听错的是人名、产品名、项目代号这类专有名词，腾讯会议ASR构建了覆盖多领域、规模庞大的专有名词数据库，通过实时脱敏识别智能调用专业领域的名词数据库。同时，结合共享屏幕的OCR识别（用户主动授权），形成屏幕热词表，智能匹配进转写文本。用户还可以入会时填写备注名，腾讯会议会按名字结构智能拆词，转写实时实现唤名情景的有效识别。而通过自定义热词，可以和行业词库协同，进一步提升名词识别准确度。
会中，腾讯会议ASR支持即实转录，听到哪写到哪，能够在信息不完整时保证转录高召回、高识别、超低延迟输出。会后，面对超长音视频的离线转写，腾讯会议还构建了Agentic ASR多轮精修转录框架。模型不再是听一句写一句的速记员，而更接近一位书记员：先通篇听完全场形成工作记忆再动笔，上一轮听出的内容成为下一轮的参考，后文信息也会反过来校准前文。多轮精修让专有名词召回相对提升约10%，字错率相对下降10%到20%。对一份要被检索、被引用、被存档的记录来说，全篇一致性往往比单句准确率更重要。
Agent友好，让大模型真正“读懂”每一场会议
每天发生在腾讯会议上的沟通，本身就是个人和团队最密集的上下文资产，这些信息过去留在人的记忆和零散手记里，如今在数据安全合规前提下，通过ASR沉淀为可被大模型读取的文本。
但Agent能调用会议上下文到什么程度，取决于这份沉淀有多完整、多准确。一份说话人张冠李戴、专有名词前后不一的转写稿，人尚可凭经验补全，Agent却会把错误照单全收并沿着错误继续推理；当每句话都归对了人、每个术语都写对了字，Agent才能真正读懂每一场会、每一次沟通，从而理解用户的工作需求，更好的把上下文融入进个人工作流。会议ASR因此不只生成一份纪要，它是把沟通转化为可被Agent调用的结构化资产的第一道工序。
目前，腾讯天籁会议ASR已支持腾讯会议、元宝录音笔等产品的说话文本实时转录功能，带来效果提升，推动人与人之间的沟通能被大模型真正理解，辅助用户提效或带来更多趣味玩法。
热门跟贴