如果只看你的脑扫描数据,AI能还原出你眼前看到的画面吗?以色列魏茨曼科学研究所教授Michal Irani团队近期给出了一个答案:他们开发出一款名为Brain-IT的AI模型,能够通过分析功能性磁共振成像(fMRI)数据,重建受试者观看图像时的视觉画面。

从脑信号到画面

打开网易新闻 查看精彩图片

这项研究的核心,是把fMRI采集到的大脑活动信号,转换成对应的视觉图像。受试者观看图像时,大脑会产生相应的活动模式,Brain-IT要做的就是从这些模式里"读"出原本的画面。

打开网易新闻 查看精彩图片

换句话说,输入的是脑数据,输出的是图像——中间不依赖受试者口述自己看到了什么。

为什么值得关注

视觉重建一直是脑机接口和神经科学交叉领域里难度较高的方向。fMRI数据本身噪声大、维度高,要从里面还原出具体的视觉内容,对模型的解码能力要求不低。

打开网易新闻 查看精彩图片

Brain-IT由Michal Irani团队开发,相关进展由财联社报道。目前公开的信息集中在模型能力本身:分析fMRI数据、重建受试者观看图像时的视觉画面。

至于这套模型后续会走向哪些应用场景,还有待更多信息披露。