瑞财经 刘治颖 11月19日,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime 1.0)API服务,带来全模态交互的新体验。
据介绍,SeedRealtime将声音、画面、时序与表达统一到同一个端到端模型中,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。
这大大降低了传统语音级联系统依赖ASR、VLM、TTS等多个模块串联带来的延迟叠加和信息损耗。模型不再只是等待用户提问,而能持续理解场景变化,在合适的时机主动开口,把看、听、说纳入同一套实时决策体系,让“听到的”和“看到的”共同参与每一次实时判断与表达。
SeedRealtime 原生支持声音、画面与时序信息的深度融合,既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。这意味着,在多人、嘈杂、开放的真实环境中,模型不仅能看懂当前画面,还能分清说话对象、理解上下文关系,并基于多模态信息完成更准确的实时判断。
Seed Realtime 1.0具备持续环境感知与主动表达能力,能够在察觉关键目标出现、画面状态变化或任务节点到来时,主动进行提醒、反馈和补充,让交互从被动响应升级为主动协作。这种能力让模型可以更好适配真实业务流程。
Seed Realtime 1.0能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应,并具备较强的抗干扰能力,可分辨旁人闲聊与背景噪声,不因干扰误触发。
北京火山引擎科技有限公司成立于2020年5月,注册资本10亿元,法定代表人为李飞,经营范围包含:网络与信息安全软件开发;计算机软硬件及辅助设备批发;计算机软硬件及辅助设备零售等。该公司由抖音有限公司间接持股100%。
热门跟贴