用意念「手写」字母，准确率高达99%，斯坦福脑机接口新突破登上Nature封面

来自斯坦福大学的研究者让脑机接口的发展又进了一步——首次破解了「与手写笔迹相关」的大脑活动。瘫痪受试者借助一套皮质内脑机接口系统，每分钟可以打出 90 个字符，准确率为 94% 至 99%，可称得上是该领域的一大进步。

利用脑机接口技术（ BCI）进行意念操控，已经不是什么新鲜事。脑机接口技术也正越来越多地给瘫痪患者带来便利。此前，美国 BrainGate 团队首次实现了人类大脑信号与计算机之间的无线高带宽传输，通过创建一套无线脑机接口设备，瘫痪患者不仅能够借助思维打字，还能在家轻松浏览网络内容。

以往，脑机接口的主要功能是恢复患者的「运动技能」，比如借助脑机接口设备操控机械臂抓取物品、移动电脑光标、点击字母输入等。

近日，斯坦福大学的研究者实现了一项新的突破，首次破译了「与手写笔迹相关」的大脑活动，可以让瘫痪患者不用手也能快速打字。具体来讲，他们开发了一套皮质内脑机接口（intracortical BCI）系统，这套系统可以从运动皮层的神经活动中解码瘫痪患者想象中的手写动作，并利用递归神经网络（RNN）解码方法将这些手写动作实时转换为文本。

论文一作兼通讯作者为斯坦福大学霍华德 · 休斯医学研究所的研究科学家 Frank Willett，相关论文登上了最新一期的 Nature 封面。

论文地址：https://www.nature.com/articles/s41586-021-03506-2

就实验结果而言，借助于这套皮质内脑机接口系统，研究受试者（因脊髓损失瘫痪）每分钟可以打出约 90 个字符，是以往利用此类脑机接口打字记录的两倍多，并且在线原始准确率达到了 94.1%，自动更正后的离线准确率超过了 99%。

论文作者之一、斯坦福大学霍华德 · 休斯医学研究院的研究员 Krishna Shenoy 表示：「随着进一步的开发，这项创新性研究可以使瘫痪患者不用手也能快速打字。」

加州大学伯克利分校的神经工程师 Jose Carmena 也认为：「这项研究以及其他同类研究在帮助各类残疾患者方面具有很大潜力。尽管研究结果只是初步的，但依然是该领域的重大进步。」

脑机接口实现瘫痪患者「意念写字」

瘫痪患者可能会丧失移动能力，但大脑中仍然存在关于走路、喝咖啡说话等行为的神经活动。脑机接口方向的研究能够帮助瘫痪患者或者截肢患者恢复失去的能力。具体的需求因患者的情况而定。例如，失去双手的患者可以使用带有语音识别功能的计算机或软件。对于说话困难的人，科学家们正在研究其他方法来帮助人们交流。

Shenoy 的团队对与语音相关的神经活动进行了解码，希望能够复现这些神经活动。他们还为植入传感器的参与者设计了一种新的方法，以使他们能够利用与肢体运动相关的意念来移动屏幕上的光标。

然而，没有人尝试过「手写文字」的行为。

因此，论文一作 Frank Willett 想探究是否有可能将笔置于纸张上来激发大脑信号。此外，该团队与一位参与了 BrainGate2 临床实验的参与者进行了合作。

Shenoy 团队中的神经外科医生 Henderson 将两个微小的传感器植入到参与者大脑中控制手臂和手部的部位上，从而使患者能够利用移动手臂的意念来控制机械臂或屏幕上光标的移动。

受试者的运动前区平层被植入两个脑机接口芯片，共计大约 200 个电极。

使用微型电极记录大脑信号。图源：BrainGate.org

在整个过程中，首先一位患有脊髓损伤的 65 岁受试者「想象着用笔在纸上写字」：

接着，受试者大脑中植入的电极检测到「他试图写字的活动」：

最后，算法对每个字符对应的活动模式进行解码，并将这些活动模式转换成可在屏幕上显示的文本。

对受试者「试图手写」行为的实时神经解码如下图（左）所示，转换为屏幕可显示文本的关键技术 RNN 的架构如图（右）所示：

利用这种系统，受试者能够复制语句或者回答问题，并且速度和同龄人使用智能手机输入的速度差不多。

Willett 表示：「这种名为『Brain-to-Text』的 BCI 的速度之所以这么快，是因为每个字母引发的神经活动模式都大不相同，从而使算法易于区分。」

未来设想

Shenoy 团队设想利用手写文本输入打造一个更全面的系统，该系统包括类似智能手机界面中的点击导航功能，甚至尝试了语音解码功能。他表示：「我们肯定会让系统尝试两到三种模式，并在它们之间切换。」

接下来，团队将与一位无法说话的参与人员共同工作，比如患有肌萎缩性脊髓侧索硬化症（ALS）的人，这是一种退化性的神经系统疾病，会导致患者的运动及说话能力丧失。Henderson 补充说，新系统将帮助到那些因各种疾病瘫痪的人。

《潜水钟与蝴蝶》的作者 Jean-Dominique Bauby 因中风丧失了大多数行为能力，仅剩一只左眼能够眨动，但凭借着顽强的意志力，以听读眨眼的方式写出了生命中最后一本书。假如有了这套新系统，他是否可以留下更多的生命回忆？

「我的肉体沉重如潜水钟，但内心渴望像蝴蝶般自由飞翔。除了我的眼睛外，还有两样东西没有瘫痪：我的想象以及我的记忆。只有想象和记忆，才能令我摆脱潜水钟的束缚。」

参考链接：

https://techxplore.com/news/2021-05-brain-interface-mental-text-screen.html

https://arstechnica.com/science/2021/05/neural-implant-lets-paralyzed-person-type-by-imagining-writing/

理论脑机接口Nature

相关数据

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?