脑机接口一直是一个科幻感十足的前沿研究领域，在近些年来也取得了一些值得关注的研究成果，比如《世界首例成功的人类脑机接口实验：让全身瘫痪病人可以通过思想进行交流》、《脑机接口可以将我们的思想直接翻译成文本吗?》和《脑机接口新进展：通过直接脑刺激操作视频游戏》；但脑机接口要实现有价值的临床应用还面临着神经活动变化而导致失效的难题。近日，一篇发表在 Nature Communication 的论文提出了一种新的「乘法循环神经网络脑机接口解码器」有望能够解决这一难题。
摘要
实现脑机接口（BMI）的临床应用的主要障碍是：基于少量近期数据训练的电流解码器（current decoder）会在神经记录情况（neural recording condition）随之改变的情况下失效。我们测试了能否使用一种新的方式来让解码器对未来的神经变化更稳健（robust）。这种方式基于训练解码器处理一系列不同的记录情况——包括从先前收集的几个月的数据以及合成的训练数据扰动——而实现。我们开发了一种新的乘法循环神经网络（Multiplicative Recurrent Neural Network）脑机接口解码器，它成功地学习了大量的神经到运动（neural-to-kinematic）的映射，并能在更大规模的训练数据集上表现得更稳健。这里我们表明：当该解码器在非人类的灵长动物临床前 BMI 模型（preclinical BMI model）上测试时，该解码器在当前最先进的基于卡尔曼滤波器（Kalman filter）的解码器表现不佳的情况下表现出了（足够的）稳健性。这些结果验证了一种新的 BMI 策略，它能够充分利用过去积累的数据，并且可能可以通过减少解码器在重新训练期间的停机时间的方式来增强解码器的可靠性。
图 1：我们让解码器对记录条件变化稳健的训练策略。
(a) 来自 BMI 临床试验的数据例子，示出了由记录条件变化引起的突然的解码器故障。黑线展示了参与者在使用固定卡尔曼滤波器（Fixed Kalman Filter）实验过程中的闭环性能（Closed-loop performance）。性能的突然下降与在具有高解码器权重的神经元上观察到的激活率（firing rate，红线）的减少一致。神经元的激活率和解码器性能在约 40 分钟后自发地恢复。改编自 [13] 的图 7。
(b) 一个描绘前述改变的假设原因的卡通图：电极的微运动引起了记录情况 2（Recording Condition 2），其中来自红色阴影神经元的尖峰被丢失。BMI 恢复对应于回到条件 1。随着时间的推移，进一步的改变将导致附加的记录情况——例如，情况 3 展示了由断开电极及进入记录范围的额外的神经元引起的变化。
(c)（由彩色矩形标示的）记录情况将在长期的皮质内 BMI 使用的过程中变化。我们假设，通常新的情况类似于以前遇到的情况（即重复先前的颜色）。通常来说，解码器从对短块的训练数据（short blocks of training data）进行拟合，并且仅在该记录情况下有效（解码器 D1、D2 等）。考虑训练目标为训练解码器在「现在」时刻使用（即右侧的褐色矩形）。一般的方法是使用基于最近可用的数据（例如，从前一天或当前实验的开始的）训练的解码器 D1。如果遇到的记录情况与其训练数据不同，D1 将表现不佳。为提升在给定当前记录情况下，解码器表现优异的可能性，我们测试了一类新解码器 D_all，它使用一个包含了先前记录情况的大数据集训练。
表 1：用于闭环 MRNN BMI 解码器的网络及训练参数
图 2：可以利用大型训练数据集的 MRNN 解码器
(a) 实验装置和 MRNN 解码器的示意图。猴子使用他的手执行目标获取任务（target acquisition task），同时运动皮层中多电极阵列记录了多单位尖峰（multiunit spikes）。来自这个任务的多天的数据被用于训练两个 MRNN，使得速度和位置可以从它们各自的内部动态（internal dynamics）转换出来。这些内部动态是 binned 神经尖峰计数（binned neural spike counts）的一个函数；因此，MRNN 可以在概念上被理解为：在给定时间根据神经活动选择一个合适的解码器。
(b) 在经过基于越来越多的先前数据的训练之后，我们在 12（16）只猴子 R（L）测试天后评估了每个 MRNN 重建离线手运动速度（offline hand velocity）的能力。（我们）通过回顾更久远的数据来添加数据集，以便不将训练数据新近度与数据语料库大小相混淆。在猴 R 实验中，早期测试（得到的数据）也作为了训练数据（还保有测试试验）。在猴子 L 实验中，我们可以获得更多合适的数据，训练数据集（的收集）从第一天测试的前一天便已开始。更多的训练数据（深色折线）提高了解码精度，特别是在解码在测试日期之后更久的记录情况时。为便于比较，我们还绘制了从基于每个单独的日期的训练数据（「FIT Sameday」，浅蓝色）训练的传统解码器（FIT 卡尔曼滤波器）的表现。嵌入的小图是一个关于训练日对解码精度的散点图（对猴子 R 有 99 个数据点，猴子 L 有 160 个）。趋势线表明两者有很强的正相关性。
(c) MRNN 可以成功地学习涵盖更多的记录日的更大的数据集。用红色折线标注的 MRNN，基于涵盖许多个月的 154（250）个猴子 R（L）的记录日的数据训练。它在留出试验的离线解码的精度将被与 FIT Sameday（浅蓝色标记）按天进行对比。我们还测试了使用与 MRNN（「FIT Long」，深蓝色）相同的大数据集训练的单个 FIT-KF。连线中的间隙表示超过十天的记录间隙。小图代表了在所有记录日上解码精度 mean±s.d.。星号标注了 p <0.001 差异（signed-rank test）。MRNN 在每天的数据集上胜过两种类型的 FIT-KF 解码器。
图 3：在最重要的电极上的未预料到的丢失情况下的稳健性
图 4：在自然出现的记录情况改变（recording condition changes）的情况下的稳健性
