打开网易新闻 查看精彩图片

在一场热闹的晚宴上,声音从四面八方涌来。邻桌的谈笑、餐具的碰撞、背景音乐和空调送风声混杂在一起,桌对面的人正在说话,嘴唇清晰地开合,声音却像隔着一层不断流动的雾。

对于听力正常者,声音信息源源不断进入耳朵;对于听力受损者,问题却不只是“声音不够大”。很多时候,他们已经听见了声音,却仍然难以从噪声中辨认语句,需要不断猜测词义、补全上下文,并调动注意力追踪说话者。短时间内,这种努力并不明显,但经过半小时甚至更长时间,疲惫会逐渐积累。

一位助听器使用者曾这样描述自己的感受:“好像耳朵还能工作,但大脑已经累坏了。”这句话指向了现代听力技术长期面对的一个矛盾:助听器可以改善进入耳朵的声音,却未必能够减轻大脑理解声音的负担。

01

助听器听见了环境,却不知道人想听什么

现代助听器已经是一套高度集成的微型声音处理系统。麦克风收集环境声音,数字信号处理器根据用户的听力图,对不同频率进行补偿,再由微型扬声器将处理后的声音送入耳道。为了改善嘈杂环境中的听觉体验,许多产品还加入了自适应波束成形、数字降噪、反馈抑制、频率压缩和场景识别等功能。

以波束成形为例,多枚麦克风可以利用声音到达时间和相位上的差异,将拾音方向集中在佩戴者前方。机器学习算法则能够识别办公室、汽车、餐厅或街道等不同声学环境,自动调整降噪强度和麦克风方向。

问题在于,这些系统主要观察的是外部世界。

它们可以判断哪里声音最大、哪里更像人声,却不知道佩戴者此刻究竟想听谁。在餐厅中,声音最响的人可能是身后的服务员,而佩戴者真正关注的,却是右侧正在低声说话的家人;在汽车里,设备可能将声音聚焦于正前方,却忽略副驾驶座上的交谈对象。

打开网易新闻 查看精彩图片

脑机接口使研究人员能够在多说话人环境中准确判断听者的注意力焦点。图为麻省理工学院林肯实验室(MIT Lincoln Laboratory)的 Christopher Smalt 教授正在开发一套注意力解码系统。

传统助听器面对的是一个声学问题:如何从混合声音中分离语音和噪声。人类大脑处理的却是一个更复杂的意图问题:在多个同时存在的声音中,哪一个才值得被放大?

这也是“鸡尾酒会效应”难以被工程系统复制的原因。人类可以在多人交谈中迅速转移注意力,从左侧说话者切换到右侧说话者,甚至在没有明显转头的情况下完成选择。对助听器而言,这种选择通常是不可见的。除非用户通过按钮、手机或手势明确发出指令,否则设备只能根据声音强弱、方向和既定规则进行猜测。

脑电波为这个问题提供了另一种答案:与其让助听器猜,不如直接观察大脑正在追踪哪一段声音。

02

当大脑听懂一句话,它的节律会跟着语言变化

语言并不是一条均匀连续的声音。音节、重音、停顿和语调,会形成不断起伏的声音包络。当人认真聆听某位说话者时,听觉系统中的神经活动会在一定程度上追随这些时间结构。换句话说,大脑中的部分节律会与正在关注的语音形成同步。

打开网易新闻 查看精彩图片

图片来源于cEEGrid Video Tutorial

如果两个人同时讲话,听者虽然都能接收到声音,但大脑对被关注语音的追踪通常更强。研究人员因此可以比较脑电信号与不同语音包络之间的匹配程度,推测听者此刻正在关注哪位说话者。这一技术被称为“听觉注意力解码”,即 Auditory Attention Decoding,简称 AAD。

一套完整系统可能按照这样的方式工作:助听器的麦克风首先识别并分离环境中的多个说话者;耳周或耳内电极同步采集脑电信号;解码算法分别计算脑电活动与不同语音流之间的匹配程度;当系统判断佩戴者正在关注其中一人时,波束成形和降噪模块便增强该方向的语音,同时抑制其他声音。

这样一来,助听器不再只是被动处理进入麦克风的声音,而是形成一个闭环:声音影响大脑,大脑活动又反过来控制声音。

实验室中常见的脑电帽显然无法直接用于日常生活。它需要在头皮上布置大量电极,部分设备还要使用导电膏,既不隐蔽,也难以长时间佩戴。研究人员因此将电极逐渐移向耳朵。

打开网易新闻 查看精彩图片

图片来源于cEEGrid Video Tutorial

德国奥尔登堡大学等机构开发的 cEEGrid,是一种环绕耳廓布置的柔性电极阵列。它可以贴附在耳朵周围,与助听器的佩戴位置相近,也比传统脑电帽更容易隐藏在头发之下。另一条路线是耳内 EEG:将微型电极集成在类似耳塞或定制耳模的结构中,使同一个设备既能够输出声音,也能够记录脑电活动。

2022年,奥尔登堡大学研究人员在一项研究中分析了36名参与者的耳周 cEEGrid 数据。参与者同时听到两段连续语音,但只需要关注其中一段。研究人员将脑电信号分割成60秒的数据片段,再通过语音包络重建判断参与者正在关注哪段语音。

采用统一模型参数时,平均解码准确率约为71%;为每名参与者分别选择个体化参数后,准确率一度提高到82.59%。不过,研究人员进一步采用更严格的嵌套交叉验证后,个体化模型的表现明显下降,显示此前的部分提升可能来自参数选择过程中的过拟合。这个细节十分重要:神经助听器确实需要个性化,但个性化不能只是让模型“记住”已有实验数据,还必须能够适应陌生环境和新的对话内容。

2025年,奥胡斯大学团队在《Scientific Reports》发表的一项研究中首次在同一批实验中同步比较头皮 EEG、耳周 EEG 和耳内 EEG。

在15名参与者和60秒决策窗口下,三种设备的平均听觉注意力解码准确率分别为83.4%、67.2%和61.1%。结果清楚地呈现出一组工程矛盾:头皮 EEG 信号质量最高,却不适合日常佩戴;耳内 EEG 最隐蔽、最接近助听器形态,但解码准确率也最低。研究还发现,在耳内 EEG 基础上增加少量位于额颞区域的头皮电极,能够显著提高性能,说明未来产品未必只采用单一耳塞,也可能发展为耳塞、眼镜腿和耳后传感器共同组成的分布式脑电网络。

更大的问题是,60秒对于现实交谈依然过于漫长。人在谈话中可能几秒钟就会改变注意对象。如果助听器一分钟后才判断出用户关注的是谁,被增强的可能已经是上一位说话者。

数据窗口越长,判断通常越稳定;数据窗口越短,设备响应越及时,但误判风险也会随之上升。未来系统不仅要回答“用户最可能在听谁”,还要判断“目前积累的证据是否足以改变声音增益”。否则,助听器可能随着一次眨眼、一次咀嚼或短暂走神,在多个说话者之间频繁切换,反而制造出新的听觉负担。

03

脑电注意力解码,开始走出实验室

现实生活中的脑电信号远比实验室复杂。人在行走、转头、眨眼、说话和咀嚼时,眼电、肌电和电极位移都会混入脑电记录。耳周电极距离听觉皮层较远,信号幅度本来就较弱,一旦叠加运动伪迹,真正与语音追踪有关的神经活动很容易被淹没。

但相关研究已经开始走出隔音室。

2026年发表在《Nature Neuroscience》的研究《Real-time brain-controlled selective hearing enhances speech perception in multi-talker environments》,研究人员利用正在接受神经外科治疗患者的高分辨率颅内脑电信号,实时判断参与者关注的说话者,并动态调节两段竞争语音之间的音量比例。当系统识别到参与者正在听左侧说话者时,便提高左侧语音的相对增益;当注意力转向右侧时,声音处理也随之变化。

实验结果显示,脑信号控制的声音增强系统不仅提高了语音理解能力,还降低了主观聆听努力,参与者也更倾向于选择脑控模式。系统既能跟随研究人员要求的注意力切换,也能追踪参与者自发完成的注意力转移。

颅内电极显然不是普通助听器近期可以采用的方案,但这项研究提供了一个重要的性能上限:只要神经信号足够清晰、解码足够及时,“由大脑选择声音”的闭环助听系统确实能够改善人的听觉体验。

问题不再是这种技术在原理上是否有效,而是能否用耳周 EEG、耳内 EEG 或其他非侵入式传感器,逐渐接近颅内信号所能达到的效果。

04

听清了,不等于听得轻松

除了识别“想听谁”,下一代助听器还需要回答另一个问题:佩戴者听得有多累?

两个人可能在语音测试中获得相同的正确率,但付出的认知代价完全不同。一个人能够轻松复述句子,另一个人则需要持续集中注意力,依靠上下文猜测没有听清的词语。传统听力测试通常只记录“答对还是答错”,很难看见理解过程中消耗的心理资源。

脑电可以提供部分线索,例如语音追踪减弱可能意味着注意力下降,Alpha 等脑电节律的变化也可能与聆听努力有关。但脑电并不是观察认知负荷的唯一窗口,人的瞳孔同样会暴露大脑正在付出多少努力。

打开网易新闻 查看精彩图片

瞳孔的大小既取决于光线等外部刺激,也取决于疲劳或兴奋等内部刺激。——克里斯·菲尔波特(Chris Philpot)

瞳孔不仅会随着光线变化。当任务难度增加、注意资源被调动时,瞳孔通常也会扩张。研究人员因而可以在控制光照、视线方向和眨眼等因素后,通过瞳孔直径的变化估计聆听努力。2018年的综述《The Pupil Dilation Response to Auditory Stimuli: Current State of Knowledge》系统分析了146项相关研究,指出瞳孔反应对任务难度、声音刺激和个体差异较为敏感,但也容易受到多种因素共同影响,因此必须谨慎设计实验和基线条件。

05

从声音处理器走向认知闭环

神经自适应助听器的真正难点,并不是简单地在耳机里增加几枚电极,而是让传感、解码和声音处理形成稳定闭环。

首先是个体差异。头部结构、耳廓形态、皮肤阻抗、听力损失程度以及神经反应模式,都会影响脑电信号。设备可能需要在初次佩戴时完成一段校准:让用户分别关注不同方向的说话者,建立个人化的脑电—语音模型,并在后续使用过程中持续更新。

其次是速度与稳定性的平衡。数据窗口越长,注意力判断通常越可靠,但响应越慢;窗口越短,系统切换越及时,误判风险却越高。商业设备不能因为一次眨眼或短暂走神就改变拾音方向,也不能在用户已经转移注意数十秒后,仍然停留在原来的目标上。

功耗同样是现实限制。脑电采集、无线传输、多个麦克风、实时语音分离和神经网络推理都会消耗电量。未来产品可能需要将基础信号处理放在耳端,把更复杂的模型部署在手机、眼镜或专用芯片中,并只在困难声学场景下启动高功耗功能。

更敏感的问题是数据边界。声音记录已经涉及隐私,而脑电、瞳孔和其他生理信号可能进一步反映注意方向、疲劳程度和心理状态。设备需要明确哪些信号只在本地处理,哪些数据可以上传,用户能否删除历史记录,以及企业是否有权将其用于模型训练。

助听器可以理解使用者,却不能因此成为持续窥视使用者的设备。

根据世界卫生组织发布的《耳聋和听力损失》事实清单,目前全球约有4.3亿人需要针对残疾性听力损失接受康复服务,其中包括约3400万名儿童。到2050年,预计近25亿人将出现不同程度的听力损失,超过7亿人需要听力康复。

因此,下一代助听器的价值不能只用音量增益、语音识别率或降噪分贝衡量。它真正需要恢复的,是一个人参与谈话的能力:在汽车里不必因为发动机声而放弃交流,在餐厅里能够自然跟随话题,在家庭聚会上不再因为持续的疲惫而提前离开。

过去的助听器试图让声音抵达耳朵;未来的助听器,则要判断声音是否真正抵达了大脑。

当设备能够感知注意力的方向、识别理解的困难,并在疲劳出现之前调整声音,它便不再只是一个放大器,而是一种认知意义上的听觉伙伴。

技术最终解决的,也不只是“能否听见”的问题,而是人是否仍能轻松地加入一次交谈,与他人保持联系,并在声音构成的世界中保有选择、参与和尊严。

参考文献:

https://www.who.int/zh/news-room/fact-sheets/detail/deafness-and-hearing-loss

https://www.frontiersin.org/journals/neuroscience/articles/10.3389/fnins.2022.869426/full

https://www.nature.com/articles/s41598-025-25576-2

https://www.frontiersin.org/journals/human-neuroscience/articles/10.3389/fnhum.2024.1483024/full

https://www.nature.com/articles/s41593-026-02281-5

https://pubmed.ncbi.nlm.nih.gov/30249172/

https://journals.plos.org/plosone/article?id=10.1371%2Fjournal.pone.0235782

打开网易新闻 查看精彩图片

脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者主要为企业、科研团队、投资机构和从业者提供以下服务:

宣传报道:图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容,提升曝光和行业影响力。

资源对接:根据需求匹配资本、供应链、临床机构、渠道方等资源,完成真实对接,促进合作。

成果转化:协助技术团队寻找产业方、投资人及落地场景,推动技术到产品的转化。

活动策划执行:承接线上线下路演、沙龙、论坛等活动的策划与执行。

其他定制需求:包括报告定制、市场调研、人才招聘支持等个性化服务。

合作洽谈,请联系微信:ZuoLeiLeiya

(备注:姓名-单位-合作)

投稿丨成为创作者,请联系微信:RoseBCI

打开网易新闻 查看精彩图片

不错过每一条脑机前沿进展

一键三连「分享」、「点赞」和「在看」

欢迎在评论区聊聊