语言是人类文明和社会进步的重要载体，也是人与人之间沟通交流的主要形式。但脑卒中、渐冻症等重大脑疾病可导致患者丧失语言表达能力，影响生活质量，给社会和家庭带来巨大负担。

近日，中国科学院上海微系统与信息技术研究所等，针对汉语解码，开发出植入式高通量柔性脑机接口系统和汉语言实时神经网络解码算法，并在国际上首次实现脑机接口实时汉语解码和语句合成。

01

研究落差与突破契机

语言脑机接口可重建语言功能障碍患者的沟通能力，有效改善其社会生活质量。国际上，应用脑机接口技术已突破英语语音和文字合成，但针对汉语解码的脑机接口技术研究却相对较少。

相比于英语，汉语具有其独特性。具体而言，英语是以多音节为主的非声调语言，汉语则是以单音节为主的声调语言。同时，英语词汇量较大，常用英语单词约为20000个，而汉语通过约400个汉语音节加4个声调，可构建出覆盖日常需求的3500多个常用汉字。

打开网易新闻 查看精彩图片

▲汉语与英语特征对比

02

汉语解码新思路

研究团队利用汉语本身优势，从约400个汉语音节和4个声调入手，将其作为稳定的中间解码单元，实现从脑电到文字的“翻译”，且通过解码这些汉语音节和声调，可外推至全部汉字。

同时，解码过程可同步采集汉语句子任务下的发音信号和高通量高质量脑电信号。

研究团队通过构建多级实时解码数据流，以50毫秒滑动窗口提取70Hz至170Hz的High-γ频段脑电信号，并对齐脑电信号与发音起始点，驱动双流解码器同步生成音节与声调的概率分布，进而融合语言模型进行最合适的句子组合选择，实现实时汉语语句输出。

研究显示，受试者经过9天的语言解码任务后，394个汉语音节（解码未覆盖音节为生僻音节且受试者不认识）纯神经解码平均准确率达到71.2%，单音节解码延时65ms，实时汉语语句解码速率达到49.6字/分钟。

打开网易新闻 查看精彩图片

▲汉语语句实时解码

研究团队进一步融合了语言脑机接口技术与人工智能和具身智能技术，并基于实时汉语解码技术和自主研发的通用型脑机操作系统，使受试者实现了驱动数字分身、对话人工智能大模型。同时，研究可将人的脑电解码成语言，进而转化成指令，实时操控灵巧手，以实现人机交互。

打开网易新闻 查看精彩图片

▲语言脑机接口技术与人工智能和具身智能技术融合

这项研究提供了一种针对汉语等声调语言的高效脑机接口解码策略，让中文失语患者有望重新“开口说话”。

论文链接：

https://www.science.org/doi/10.1126/sciadv.adz9968

来源：中国科学院上海微系统与信息技术研究所

责任编辑：闫文艺