最近Meta开源了一个项目，这个项目是利用脑磁图来扫描患者打字的场景，通过提取神经元放电。
相较于马斯克直接侵入式脑机接口去获取神经元放电，MEG通过直接超导传感器来获取微弱的磁场。
不过MEG是几十万神经元一起同步放电，而neuralink是单个神经元放电，但是都是收集来自神经元信号以及毫秒级的响应，利用transformer技术栈，让神经元信号可以得到训练与采集，即使是一群神经元信号。
Meta的Brain2Qwerty这个效果就可以实现语义语义打字，并且再实验过程中是不能够看到键盘的，而是盲打，也就是将其键盘遮挡，然后用MEG设备进行扫描
通过MEG扫描并且检测与分辨字符，从而对齐，利用AI模型进行训练，最后生成脑磁图
从字符准确率到语义准确率可以看到分别有了显著的提升，达到了字符准确度69%，单词准确度达到78 %，单词准确度有几乎接近2倍的提升。
可以看到数据越多，其越提升明显，并且再他们实验过程中，提到了这个遵循scaling law定律，虽然MEG会有物理限制，但是通过LLM会提升器意图的识别率。他们采取了如下的实验方法，为了避免视觉干扰，他们直接采取了盲打，并且以显示屏的方块旋转来展示是否输入成功。
首先招募的是能够有能力平时盲打键的人，在听到语音后能够清楚键盘在哪里，如下是实验过程步骤。
1.通过用户在MEG停留然后开始听对应的句子
2.等待1.5秒之后
3.开始进行盲打，不看键盘
4.方块提示输入成功，完成打字记录。
整个走的方式是非侵入式方式，并且MEG是306通道，以及1000HZ采样频率就可以达到对应的神经元信号采集。
这个MEG仪器在全中国也有，但是并不多，比如整个四川就只有华西医院有一台。
数据采集有多大呢：
目前来看，这次Meta的数据规模是9个人，每个人累计10个小时，要知道现在在医院检查一般一次检查就30-40分钟，比如现在在华西医院一次检查就是2000元。所以MEG的损耗是相当大的，并且实验成本主要是在机器成本而不是患者。
同时每个人单独一个模型，然后后面再平均进行平均值得到这个模型。
Metav2规模(9人x10小时≈90小时扫描):受试者招募/激励(每人几百RMB)、操作员时间、场地/伦理费用，在国内可能有的地方可以采取学生甚至是免费，因为MEG是没有辐射的。
训练/微调:PyTorch+CUDA，推荐多张A100/H100或云实例。小规模微调几千RMB，全量训练(类似Meta)可能几万到十几万RMB(云服务或本地集群)。目前在文献中提到实验室官方给的是8张A100显卡
这个实验对于我们MindSoul团队，有什么意义
1.建立中国人的笔画数据集
作为中国人，我们天生是写笔画的，几乎任何人从读书的时候就开始学习笔画，所以中国人对比笔画有天生的熟悉，同时笔画也是天生的断点序列，可以通过一笔一划来记录每个一笔一划的数据。
有了笔画才有五笔输入法，这就是当初盛极一时的五笔输入法，很多人说打五笔会比打拼音更快就是这个原因，在没有关联词推荐和语义推荐的时候。
通过空间计算就可以完成这方面的采集，如下是通过MEG与AndroidXR来完成人类语义的识别，通过采集脑MEG以及模型训练从而完成人类脑部解码。
目前Meta的这套算法开源之后，可以达到准确率61%以上，要知道这只是10个人，如果是100个人，10个小时，更多句子那么准确率也势必会提升，最终会达到一个相对极限数据。
2.建立中国人的空间计算下意图识别
和Meta的词语对比一样，人类的一句话本身就是一个语义主题而不是纠结某个字，所以MEG与LLM结合最大的意义就是语义识别。
在足够人数采集下，后续校准时间应该会越来越短，现在Meta开源的这个是一个人要10个小时，才能够有一个模型。
所以校准时间是相当长的，而要达到普通人使用或者消费者，至少要缩短到几分到10钟，那么就需要更多人以及更强的LLM模型。
因为LLM的幻觉更低，同时有更多的MEG数据，对于MEG的依赖性会更少。
3.MindSoul的版本计划
人类之间就不是用对应的微信打字了，而是意念交流了，你想什么，其对应的语义与词语都会出现在对方的显示屏上，而不是需要再去打字。
打字这件事本身就比较累，也是反人类的，尤其是现在在手机上的键盘打字久了难免会手指不舒服甚至是腱鞘炎。
基于键盘或手机终端交互的，终究是一个暂时过程，后续就会消失替换为人类最自然的交流，就是意念或者语音交流，从这个角度来看，微信与移动互联网的存在时间只是在10多年期间。
今天的分享就到这里
找我交流与合作 空间计算与脑机接口系统开发
题图来自 Unsplash ，基于 CC0 协议， 如有侵权，请联系pmtalk123删除
“分享产品经理改变世界的点滴”
产品顾问｜ 产品咨询｜培训合作
请添加微信 PMxiaowanzi
最近我的原创
每日案例拆解库，AI等产品打卡群
我创建的产品设计打卡社群，加入后365天，每天体验一款APP。提升产品设计能力，同时有1300份体验报告帮助你找到竞品
在这里你可以随时查询到你想找的各类竞品行业APP，无须自己亲自下载就可以马上得到APP的一手产品优化、交互设计、功能描述信息。
从优化&建议、商业模式、运营、功能描述、交互设计、产品定位至少6个维度，体验一款应用。
平均1天1块钱，扫码购买即可加入
连续体验48款应用，通过后原路退回
报名后添加星球助理
PMTalk123
热门跟贴