在第一期新脑论坛中,中国科学院深圳先进技术研究院正高级工程师李骁健老师以《植入式脑机接口的科研现状与商业转化趋势》为题进行了分享。下文为讲座逐字稿,更多精彩回顾,还请关注“NeuS”公众号,我们将陆续为您更新。

专访嘉宾

李骁健

中国科学院深圳先进技术研究院正高级工程师,博士生导师

主要研究动态脑神经信息高通量采集技术、神经环路解析和解码技术以及神经调控新技术。在国内率先贯通植入式脑机接口技术链,在国际上率先开发了基于光纳米技术的非遗传式神经调控方法。在精密机械工程、光学工程、电子工程和神经工程领域均具有扎实且全面的研发基础,多篇成果发表在多个学科的Nature子刊以及专业一流期刊中。

李骁健:今天我将以《植入式脑机接口的科研现状与商业转化趋势》为主题进行分享。

首先我来简要介绍一下脑机接口。如果将脑机接口视作一个整体,它是大脑与外界直接进行信息通讯的渠道。所以,它还是属于信息通讯领域。它的特点主要是提供一种全新的脑信息传输渠道,使脑信息能够直接与外部设备交互。

整个脑机接口是一个仪器系统,主要由神经信号的采集、解码以及执行的三大装置共同构成。脑机接口的主要应用方向包括以下几个方面。

一个方面我们希望通过脑机接口的方式来实现信息的收发平衡。比如日常生活中,我们通过视听嗅触味来接收信息,但我们一般是通过语言和动作发出信息。因此,实际上我们接收信息多,表达信息较少。这是从应用理论的角度来考量的。

在现阶段真正的应用中,我们主要是希望通过脑机接口来替代受损伤的收发信息器官,比如帮助残疾人实现生活自理。

还有一个应用可能是在未来作为元宇宙的终极解决方案。比如我们可以不再依赖视听嗅触味进行信息接收,以及不再借助语言、动作器官表达信息,我们将通过脑机接口把想法和外界直接通讯,实现人与人之间的意念沟通。当然这是对脑机接口的远期愿景。

脑机接口目前更主要的用途是在科学研究中。比如说研究大脑,推进神经科学启发的人工智能的发展等。

早期相关研究是对穿戴式和植入式脑机接口同时展开的。两种形式各有特点。穿戴式不需要做手术,不会有太多损伤;而植入式可以获得更精准的神经信息,对大脑的理解会更为深入,和脑的交互也会更为直接和精准。

这里有两幅统计图,都来自DARPA网站。其中不同颜色代表的是他们针对穿戴式以及植入式的不同资助项目,以及时间和资助经费。可以看到实际上,植入式脑机接口,是这些年,尤其在近10年主要资助的模式。当然,穿戴式也有一定的资助量。

此外,时间上也有一个分歧,在2010年左右,穿戴式是资助的重点;但是从10年到20年,这段时间的主要资源是用来资助植入式研究的,也有一小部分继续资助了穿戴式。

其实,侵入式和植入式脑机接口的形式,也并不是完全等价的。比如在20年左右推出了下一代非手术神经技术。它其实也是植入式,但它可以被放到非侵入的范畴内。因为它采用的是纳米技术,是一种非常精创的植入方式,可以不用做手术就可以完成。

我们分别在18年和前不久(22年9月)先后在《自然-生物医学工程》期刊中发表了两篇文章*,介绍了其中的一个技术分支——光纳米神经遥控技术。

*Jiang, Yuanwen, et al. "Rational design of silicon structures for optically controlled multiscale biointerfaces." Nature biomedical engineering 2.7 (2018): 508-521.

Huang, Yunxiang, et al. "Bioresorbable thin-film silicon diodes for the optoelectronic excitation and inhibition of neural activities." Nature Biomedical Engineering (2022): 1-13.

接下来我将会介绍几个脑机接口发展的里程碑事件。

以前的脑机接口实验,用猴子比较多,但近几年较多进入临床,通过人做了很多测试以及功能上的验证。16年就实现了拥有人工触觉的人(内森·科普兰)脑控机器人。这是非常著名的案例,内森通过做手术,在脑内植入了两个小型的犹他电极,植入之后可以进行一些脑控操作,比如用他的脑信号来控制机械臂。2016年,美国的脑计划展示,当时总统奥巴马还亲切接见了内森,并且和内森脑控的机械臂做了一个碰拳握手之类的动作,这是一个重要的里程碑事件。

在之后两年,更多的是像斯坦福大学做的人脑控制键盘打字的研究。实际上,控制方式要比控制机械臂简单一些。在语音交流方面,对于渐冻症患者来说,是更为迫切的需求。当然,打字肯定要比说话慢,所以相关研究对打字的速度要有一定的保证。

19年出现了完全可以通过解码人脑神经信号的人工语音合成器,可以把想说的话通过计算机表现出来。下图可以看到在主人公脑的颞叶这里有一大片的ECoG电极阵列。这可以把脑信号解码成喉部肌肉运动,从而对应发出的不同声音。如图,可以看到人工合成的声音和真正的声音是非常像的。

但它所使用电极和在16年内森用的是不一样的。这种是一大片电极阵列,前面的那种针刺电极还不大能用在这个场景。这是因为语音对应的脑皮层区域范围是比较大的,接触面很小的刺入电极是不大能够把语音信息都表征出来的。

第三个案例是使用了一种新的方式——Stentrode。它最大的优点就是不需要给大脑打洞,它可以通过血管来植入电极。Stentrode本身就是疏通血栓用的血管支架改装的。电极只需要顺着中空的血管,塞到脑中间的中缝位置,然后把支架释放出来就可以了。就像图中所看到的那样,中间的节点就是电极,它可以隔着血管采集周围脑组织发出的微弱神经电信号。

当然它也存在局限性。因为电极离神经元有一定距离,所以采集到的信息,它的质量以及信息量都不是很充分,只不过也足够做一些比较简单的解码。比如说可以控制平板电脑做一些简单的用虚拟键盘打字的工作。当然,完全依靠这个信号还是不大充分,毕竟这种方式采的信号少,所以,它还需要采集做平板控制任务时的眼动信号来配合。

接下来介绍信号转码的过程。从脑信号转化成运动控制指令,这个过程的中间是脑机转码,需要把脑信号变成机械的运动控制指令。脑机转码的依据,最基础的就是神经元的群体编码理论——不同的神经元有自己的运动偏好性,可以把运动指令高精度地解析出来。

但另外一个更为关键的理论是神经可塑性的原理。假设要控制一个机械臂,实际上,我们采集的神经活动信号并不是真正针对产生控制动作的神经元。反而是通过神经学习的可塑性来实现,让被采集信号的神经元逐渐学会控制机械臂。也就是说,实际上,脑机接口主要是通过脑内的神经来学习如何控制外部机械的。

当然,机器学习的方式可以提高脑机接口的准确率,但在控制流畅度方面并没有太大提升。要想靠机器学习来提升流畅度,实际还是不靠谱的,更多还是得靠大脑自己来学习。但是大脑自己学习是有一定时间要求的,不能立刻就学会,也需要一个学习的过程。

比如斯坦福的实验室研究临床脑机接口,主要就是在研究神经学习以及神经编码的过程。一位渐冻症患者每天都需要对脑控信号进行最基本的方向校准工作,因为每天的信号并不稳定。

现在很多新型电极研究,它们的工作方向就是希望把校准的时间缩短,或是把需要做校准的时间间隔拉长,发展即插即用型脑机接口。

前面我们提到在脑内采信号需要放置一些传感器来监听神经活动。如果传感器离神经元很近,它采集到的信息清晰度就会比较高。在下面的这幅图里,介绍了根据信号源的不同,监听到的神经信息清晰度也不同。这主要是由传感器放置位置的不同而产生的。比如说,贴在头皮上的EEG信号;放到颅骨里贴在脑皮层表面的ECoG信号,还有针刺式的局部场电位(LFP)以及动作电位信号(AP)。

针对不同的信号源,实际上无论是解码的方式,还是信号的转换装置都是不同的。

科研上,我们比较追求清晰的脑信号,希望能够记录单个神经元的活动;但是对医疗器械来说,往往不太追求太高的精度,更强调的是安全和稳定性,能够长时间使用。这些才是脑机接口在医疗界应用的关键点。

今年上半年在Frontiers in Nanotechnology里,我们受邀介绍了神经界面技术*,涉及不同的脑信息采集尺度。这是一个简化的示意图,主要介绍不同植入式电极的植入方式。

*Zhang, Bingjie, et al. "In Vivo Neural Interfaces—From Small-to Large-Scale Recording." (2022).

可以看到中间有柔性绳穿过颅骨的这几种,是比较适合用于临床的,因为脑组织相对于颅骨硬壳是活动的。有细线连接的,可以在脑内悬浮的电极,才适合临床使用。直接插入的电极对脑组织来说效果不太好,脑组织晃动时,电极会有很强的错位现象,容易把脑组织划伤。所以,这些可能更适合动物头脑固定的实验,或者是脑子很小的动物。

临床电极实际上有两个选择,除了可以刺入脑组织中的,还有贴在脑皮层表面的。刺进去当然会有一定损伤,贴在脑皮层表面损伤度会小不少,但是信号的带宽也会弱一些。

前面介绍的这种有插头的Blackrock有线系统,可以看到植入的头皮位置旁边有红肿,这有感染风险的,并不能作为比较成熟的医疗器械使用。Neuralink提出做完全无线的全封闭植入系统,才能作为成熟的医疗器械使用。

Neuralink有比较全面的研发产品,包括电极传感器以及前端的处理器芯片。因为柔性电极很软,所以也需要专门的植入工具。近两年他们发布了两款整个微系统版本,最早是有线版,后来也发布了无线版,右边这个图就是他们在猪的脑子中植入柔性电极的情况。

实际上这两套不同的微系统,它们的表现是有差异的,用途其实也不大一样。有线系统在大鼠中做了测试,可以看到它的通道数还是很高的,可以达到3000多道,这是它的原始数据。其中图中带的小毛刺,就是采集的神经元动作电位,这些抖动的波形就是它的场电位。可以看到有线系统可以采到比较完整的脑电信号,数据量也很大。它们使用了大量的GPU,来对这些并行采集的神经信号做数据处理。

后面他们推出了无线系统,这个小巧很多,主要用的是电池配蓝牙传输。蓝牙传输的信息量是很少的,可以看到信号变成了噪点形态。实际上他们是把数据进行了大量的压缩,但压缩后基本还能够保证完成控制任务。比如通过屏幕打乒乓球的任务,毕竟这里的运动控制任务需要的信息量比较少。

开始它是用手柄做控制,主要为了校准信号以及解码用,但过了一会可以把手柄取掉,就完全可以用脑信号来做运动控制。

Neuralink电极实际上相对于硬质的犹他电极,在研发方面也有很大发展。当时的硬质电极就像刷子一样,都是密密麻麻的硬针,需要一个小气锤把它拍到人脑组织里面。但因为人脑组织软,电极硬,所以会产生比较大的排异反应。

很细的柔性电极,在脑组织中随脑组织一起晃动,对脑组织的损伤就会比较微弱,这样可以保证电极能够长时间地采集信号。当然这也是对未来的展望,实际上,柔性电极在大型动物和人脑之内,具体能够使用多长时间,现在也并不确定,但在理论上这个方式还是比较可行的。

当然,这种柔性电极也有一个问题。如果柔性电极做得太细的话,它的绝缘层就会非常薄,在脑组织的电解质环境下,会对电极产生一定的侵蚀。所以说,柔性电极的寿命需要经过一段时间来验证分析。绝缘质量较高的电极到底能保持多久,这是目前研究面临的挑战之一。很多实验室目前正在研究这类很细的电极丝。

柔性电极丝主要是用薄膜微纳加工工艺制造。Neuralink的电极是在一个硅片上,然后把它接到后面电子芯片上。它由很多细丝构成的。我们实验室也研发了一种基本类似的电极,但我们并没有把这细丝都撕开,而是把它仍然连在一起,形成了一个网格状的结构,这就是micro ECoG型电极阵列。

此外,我们在micro ECoG电极阵列的触点方面进行了材料学方面的深入探索。比如说,用柔性导电聚合物来提高它的神经界面效果,提高信号质量。我们也发表了一篇文章*,介绍我们研发的微网状的ECoG电极阵列。

*Yang, Ming, et al. "Poly (5‐nitroindole) Thin Film as Conductive and Adhesive Interfacial Layer for Robust Neural Interface." Advanced Functional Materials 31.49 (2021): 2105857.

接下来我们就专用芯片展开讲解。左边是Neuralink使用的芯片,它每一个模块实际上有256通道。刚才提到给大鼠用的3072通道微系统,实际上是3×4,是12个小的芯片单元共同构成。然后,通过USB Type-C插头,将数字化的信号传到计算机中去。

我们也研发了相关的芯片,但是我们研发的芯片其实更强调把信号写回大脑的功能,所以它是能够双向同时实现信息采集跟信息写入的一种芯片。其中大部分电路是用于神经输入的电路,信号采集功能所占面积的比重其实比较小。

目前我们研发的千通道级别的脑机接口系统已经实现了基本功能,包括传感器、电子芯片构成的前端电路模组,集成的千通道采集器也在实验中采集到了信号,已经可以把它用在猕猴的脑机接口研究和功能验证之中。下图就是我们实验室做的猕猴脑机接口研究的一些基本过程。

我们首先在猴脑里植入电极阵列。在这上方有个保护罩。这里,我们的猴子是在麻醉情况下做信号检测的实验。我们两组一共采集了不到2000通道的神经信号,这些监测到的信号可以实时地在笔记本电脑上显示出来。因为猕猴是由麻醉状态逐渐清醒,所以,可以看到图中波形有比较大的抖动。这就是基本的采集多通道信号的展示。它也可以对信号做更细致的分析,提取出神经元脉冲的波形。

接下来,图中展示的是猴子接受脑机接口系统的训练。我们一开始没有做脑控,先用的是脑启发的运动控制算法,驱动机械臂先给猴喂食,让猴知道机械臂是可以给它提供食物的,然后逐渐给猴放开一些控制功能,让猴可以通过脑控信号从简单的控制任务做起。在信号有效的情况下,猴是可以启动机械臂去抓取物体,也可以控制机械臂,在特定的时间把食物放下。后面我们还要继续研发其它脑控功能。

接下来讲产业化方面。中国信通院去年出了一个健康领域脑机接口白皮书,实际上,今年也组织我们一起编辑了一个脑机接口的。目前已经发布*。此外,更为关键的点是21年美国的FDA发布的脑机接口医疗器械指南。有指南之后,开发植入式脑机接口的医疗器械公司就有据可循,可以把整个产业领域在可监管的情况下,发展和建立起来。我们合作写了一篇文章《植入脑机接口的医疗器械之路》,应该很快就会发表。

*https://mp.weixin.qq.com/s/KZe36m2PMHeNhxq8SYoMvA

植入式脑机接口,在治疗上是有其医学本质的,并不是随便往里插入电极信息就能出来。实际上治疗是有疗程的,也就是神经重塑、功能重建的过程。植入式脑机接口,主要针对治疗疾病实现功能替代;如果损伤不是很严重可以做功能的恢复,主要还是用在医疗场景。

植入式脑机接口和医疗技术在最近5年内进入了井喷期。之前在猴子上或者在临床上做的很多基本探索,最近几年有几家商用公司如Neuralink,Paradromics和BrainGate2都做了新的开发,如新的植入式脑机接口仪器产品等。

在功能上面,包括语音解码、视觉重建、脑控写字、脑控说话,还有治疗抑郁症方面都有了临床上的成功案例。这些都表明用于临床的植入式脑机接口在技术准备上基本趋于成熟。

如果我们将现有的不同产品进行对比,它们植入的位置及其对应的信号源都不一样,信号时空精度也不同,这些导致它的信号特征是不大一样的。有高清的也有模糊的。当然清晰度越高,实际上电路功耗会更大。传感器放置位置的不同,对脑组织的损伤也不同。损伤度比较大,信号稳定性就会比较差;损伤度小,稳定性好,但信息量又比较低。所以不同特性需要跟具体应用做折中。一种技术无法实现全面覆盖,他们各自有自己的优缺点,需要根据具体应用做让步。

整体来说植入式脑机接口是门槛是比较高的,前面这些年没有普及开,主要来自几个方面。对于患者来说,他们可能需要全植入体内封闭式的脑机接口。但其实主要的大问题在于医生的临床使用,如果脑机接口的用户体验不太好,使用寿命不长,医生就会觉得这种设备是比较麻烦的。另外做手术时如果不熟悉这些系统,也会存在手术风险等。

从康复工程师角度来说,如果信号不是很稳定的话,它的服务成本是很高的。在这种情况下,设备信号稳定,以及通用的解码器就会非常关键。通用解码器需要有大量的临床数据,才能建立。如果在人脑内植入数量不多,数据量不够,解码器也不会太完善。这确实是一个逻辑悖论。

从整体角度来看,如果我们开发植入式脑机接口系统,那就需要建立一个基于MEMS的微纳加工传感器研发平台、基于应用型专用集成电路(ASIC)的芯片研发和系统集成平台。当然,还有通过猕猴做脑机接口的功能探索评测平台。如果我们能采到比较多的脑神经数据之后,还需要有分析和解码的计算平台。所以如果能够比较全面运转起这4个平台,才能构建起一个植入式脑机接口系统的研发平台。

对植入式脑机接口应用系统场景的规划是多个层面的。首先,我们三年内的目标是进行升级。我们需要大量采集脑信息,升级传统的脑信号监测采集系统。这些主要是为了获得大量的数据来建立数据库,建立更好的解码器。我们五年内的目标,是进入变革的阶段,这个阶段做功能替代脑机接口,比如说让瘫痪、失语、失明的患者可以用上植入式脑机接口装置,改变他们的生活现状。

此外,要在深脑做精神调控的脑机接口,现在的研究还不是特别充分。我们还不能明确靶点,因为理论模型都不完善,这其实是个比较大的问题。这也需要更多的临床数据,然后才能将脑机接口用于精准调控治疗精神疾病。

主讲:李骁健

整理:Sheryl、光影 | 校对:光影 | 排版:光影