Facebook 与加州大学旧金山分校（UCSF）Chang Lab 的脑机接口项目 Project Steno 取得了最新进展，该研究通过解码从运动皮层发送到声道的大脑信号，让严重瘫痪的失语患者重新恢复交流能力。
近年来，脑机接口（BCI）研究吸引了越来越多科研机构和科技企业的兴趣，也相继出现了很多令人瞩目的技术成果，如马斯克脑机接口公司 Neuralink 先后在猪、猴子等体内植入脑机接口设备、斯坦福大学脑机接口设备让瘫痪患者实现「意念写字」等。这些成果都为瘫痪患者重新与世界进行交互提供了新的希望。一直以来，Facebook 也致力于脑机接口的研究，并专注于研发头戴式脑机接口设备。然而，Facebook 近日发表博客称其将停止研发头戴式脑机接口技术，转而专注一种不同的神经接口方法，即由肌电图驱动的腕带式设备。究其原因，该公司认为手腕式设备能在短期内进入市场。不过，Facebook 仍然相信头戴式脑机接口技术的长期前景。与此同时，Facebook 也宣布其与加州大学旧金山分校（UCSF）Chang Lab 的脑机接口项目 Project Steno 取得了最新的进展。他们启动了一项名为「手臂和声音的脑机接口修复」（Brain-Computer Interface Restoration of Arm and Voice）新研究，并将一位 36 岁、瘫痪在床且失语多年的男子作为受试者。研究者在这位受试者的大脑中控制声道的区域植入一个电极阵列，当他试图回答屏幕上显示的问题时，机器学习算法自动识别出他脑中出现的单词，转换为实时的句子。据了解，这是首次成功地从瘫痪失语患者言语皮质的大脑活动中直接解码完整句子。相关论文研究《Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria》发表在了《新英格兰医学杂志》上。
论文地址：https://www.nejm.org/doi/full/10.1056/NEJMoa2027540?query=featured_home受试者在 16 年前因中风瘫痪在床并且失语多年，他通常使用头部运动控制辅助计算机打字与他人交流。
在实验中，研究者在其大脑的感觉运动皮层（sensorimotor cortex）区域植入一个硬膜下、高密度的多电极阵列，用于控制受试者的言语。
研究者记录了 22 个小时的皮质活动，同时受试者试图从包含 50 个单词的词汇集中（其中包括水、家庭、好等日常生活中必不可少的词汇）说出单个单词。在实现受试者说出单词的过程中，研究者使用深度学习算法来创建相应的计算模型，用于从记录的皮质活动的模式中检测和分类单词。除了这些计算模型之外，他们还使用了一个自然语言模型，该模型在给定序列中前一个单词的情况下生成下一个单词的概率，以在受试者试图说出这些单词时解码完整的句子。如下图所示，研究者用到了神经信号处理、言语生成、单词分类和语言建模等技术。
原理示意图如下所示，可以看到从受试者试图回答（图 A）到皮质信号（图 B）、神经信号处理（图 C）、言语生成（图 D）、单词分类（图 E）、语言建模（图 F）和最后的解码响应（图 G），它们是一个完整的过程。
为了测试这一方法是否有效，研究者会通过屏幕显示问题，比如「你今天过得怎么样」、「你想喝点水吗」等，受试者相应地给出回答：「我很好」、「不，我不想喝水」等。
实验结果显示，这个脑机接口系统平均每分钟可以实时解码 15.2 个单词，平均准确率为 74%。并且，每分钟最多可以解码 18 个单词，准确率最高可以达到 93%。在事后分析中，研究者检测到受试者试图生成单个单词的概率为 98%，并且在 81 周的研究期间，他们使用稳定皮质信号分类单词的准确率达到了 47.1% 。
在 2019、2020 年，Chang Lab 就发表过早期的 Project Steno 项目研究，该项目表明电极阵列和预测模型可以创建相对快速和复杂的思维类型系统。以前的打字方法都涉及用大脑植入物在屏幕上触动光标，尽管其他一些研究人员也尝试过例如可视化手写字体这样的方法，但都不理想。该实验室的早期研究涉及解码说话人的大脑活动，而最新的研究表明，即使受试者不 (或不能) 大声说话，它也能起作用。
此次研究中未使用的 Facebook Reality Labs 耳机。UCSF 神经外科主任 Eddie Chang 表示，下一步是改进该系统，并让更多的人进行测试。「在硬件方面，我们需要构建具有更高数据分辨率的系统，以更快地记录更多来自大脑的信息。在算法方面，我们需要有能够将大脑中这些非常复杂的信号转换成语言系统的能力，不是文本，而是真正的、可听得到的口语。最重要的是要大大扩大词汇量。」这项研究对于那些没有可用键盘输入和其他现有接口的人来说很有价值，即使是有限的词汇量，也能帮助他们进行更好的交流。但这与 Facebook 在 2017 年设定的宏伟目标相去甚远，该目标是研究一种非侵入性 BCI 系统，可以让人每分钟打 100 个字，这个速度相当于人在传统键盘的打字速度。UCSF 最近的研究涉及植入技术，但还未到达这个数字（每分钟打 100 个字），甚至是大多数人按手机键盘的速度也没有到达。此后，Facebook 在 2019 年收购了肌电图 EMG 腕带公司 CTRL-Labs，为其提供了 AR 和 VR 的替代控制选项。「我们仍处于释放腕部肌电图 (EMG) 潜力的早期阶段，但我们相信它将成为 AR 眼镜的核心输入，对 BCI 的了解将帮助我们更快地实现这一目标，」Facebook Reality Labs 研究主管 Sean Keller 说。Facebook 不会完全放弃头戴式大脑接口系统，而是计划将该软件技术开源，并与外部研究人员共享硬件原型，同时停止研发头戴式脑机接口技术，转而专注一种不同的神经接口方法。https://www.sohu.com/a/477800341_114835https://www.theverge.com/2021/7/14/22577095/facebook-bci-ucsf-chang-lab-brain-typing-research-update-project-steno-ar-vrhttps://tech.fb.com/bci-milestone-new-research-from-ucsf-with-support-from-facebook-shows-the-potential-of-brain-computer-interfaces-for-restoring-speech-communication/ 
华裔教授AI解码脑电波，上演现实版「读脑术」，大脑所想直接合成文本或语音！
