深度学习将脑电波转化为语音,让失语者「说」出自己的想法
今天 Nature 介绍了一篇论文,通过深度学习方法建立脑机接口(BCI)帮助失去语言功能的恢复说话能力。
该脑机接口旨在通过直接从大脑「读取」他们的意图并使用该信息来控制外部设备或移动瘫痪的肢体来帮助瘫痪的人。目前用于交流的脑机接口的发展主要集中在脑控制上,允许瘫痪的人每分钟输入 8 个单词。尽管恢复这种功能水平可能会改变有严重沟通障碍的人的生活,但离实现流畅交流还相去甚远,普通人平均每分钟可以说大约 150 字。这篇论文开发出一种方法,使用深度学习方法从脑信号中产生口语句子。
研究人员与五名志愿者一起工作,这些志愿者正在进行一项称为颅内监测的程序,其中电极用于监测大脑活动,作为治疗癫痫的一部分。作者使用一种称为高密度脑电图的技术来跟踪控制言语和发音运动的大脑区域的活动,因为志愿者说了数百句话。为了重建语音,而不是将大脑信号直接转换为音频信号,研究员使用两阶段解码方法,他们首先将神经信号转换为声道咬合架运动的表示,然后将解码的运动转换为口语句子。这两种转换都使用了循环神经网络。