“音频的问题在于它不是面向对象的,而是面向通道的。”Edge Sound Research 联合创始人兼首席执行官瓦尔泰里·萨洛马基(Valtteri Salomaki)在接受 SiliconANGLE 采访时,把这句话摆在了台面上。这家公司今天宣布拿到 200 万美元新融资,要做的事是给物理 AI 造一套音频基础设施:把有用的声音从嘈杂环境里挑出来,再和其他传感器数据拼到一起,让机器实时搞明白周围发生了什么。

打开网易新闻 查看精彩图片

本轮由 Stormbreaker Ventures 领投,公司累计融资额由此达到 900 万美元。这笔钱不算大,但它押注的方向有点意思——在物理 AI 的世界里,声音一直是个二等公民。

为什么声音会被冷落?萨洛马基给出的解释很直接:摄像头到处都是,日常生活里、各种用途上都在用,视觉天然占了先手。可对人类来说,声音是导航世界的基本能力。人之所以能自动完成这件事,是因为我们活在一个多模态世界里——视觉、听觉、身体感知同时涌进来。

Edge 最早盯上的是体育场景。篮球砸在地板上的一瞬间,看台上的观众在跺脚,场馆音箱里的低音在轰,这些声音同时灌进麦克风。对一个想单独拎出运球声的 AI 系统来说,重叠的声源就是灾难。

这正是 Edge 切入机器感知的核心难题:把音频和追踪数据、视觉数据连起来,判断哪个声音属于哪个物体。萨洛马基把技术拆成两层——一层是给所有传感器建数字孪生,另一层是训练 AI 机器学习模型,把声音元素分离出来。

在球馆演示里,系统用麦克风位置、拾音模式和球员追踪来筛选有用音频,再把位置关联起来,视觉和音频配对后就能识别对象:球员、球,甚至吹哨的教练或裁判。用户还可以导入带坐标的 3D 空间或 2D 布局,在里头摆放传感器,形成环境与传感器的空间地图——这就是他说的“数字孪生”。

同样的思路可以挪到别处。自动驾驶车辆装上“数字耳朵”,就能听见警笛是不是在靠近。人类能判断声音和方向,是因为耳朵长在脑袋两侧:声音从左边来,左边就更响,哪怕眼睛看不见那个物体。

听过警笛由远及近再远去的人,其实都体验过多普勒效应——音调会随接近或远离的速度升高或降低。音调变高,可以给自动驾驶车辆一个即时警告:有紧急车辆正从盲区拐角驶来,连来向都能判断,哪怕摄像头还拍不到警灯。

模型层面,Edge 有一个通用模型,再按客户需求微调。不同实时场景对延迟的要求不一样:萨洛马基提到,体育转播的容忍度低于 33 毫秒,其他环境或许能接受 100 或 200 毫秒。多数应用里,感知必须准时到达,因为听见和看见需要配对。

公司正朝着硬件无关的方向走:数字孪生软件加 AI 模型,让 Edge 能围绕一套核心技术组装新应用。这样一来,它就成了音频基础设施,能和客户现有物理 AI 机器人、媒体及其他系统已经在用的麦克风和摄像头配合工作。

现场体育已经给了 Edge 一个商业市场,用来开发和验证感知技术,也用来训练和打磨模型。它的虚拟声音引擎(Virtual Sound Engine)能自动采集并分离复杂环境中的声音,已在行业内投入商用,客户与合作伙伴包括美国音频设备厂商舒尔(Shure)、美国职业篮球联赛(NBA)、福克斯体育传媒集团(Fox Sports Media Group)和美国网球协会(USTA)。

“要实现大家在物理 AI 上都想要的结果,计算机得变得稍微更像人一点。”萨洛马基这句话,大概就是这家公司全部赌注的注脚。