2012 年,计算机科学家 Dharmendra Modha 使用一台强大的超级计算机模拟了超过 5000 亿个神经元的活动,甚至比人脑中约 850 亿个神经元还要多。这是近十年工作的高潮,十年间,Modha 从模拟啮齿动物和猫的大脑发展到模拟人类规模的大脑。
这一模拟消耗了大量的计算资源--150 万个处理器和 1.5PB(150 万 GB)的内存,计算速度却仍比人脑慢 1500 倍,令人难以忍受。Modha 估计,要使其达到人脑的实时运行速度,需要 12 千兆瓦的能量,大约是胡佛水坝最大输出能力的 6 倍。
「然而,这只是模拟大脑处理一幅卡通画所需的能量」,加州北部 IBM 阿尔马登研究中心类脑计算首席科学家 Modha 说。这一模拟根本无法复制人脑的功能,因为人脑使用的能量与一个 20 瓦的灯泡相当。
自 21 世纪初以来,硬件的改进以及实验和理论神经系统科学的进步使研究人员能够创造出更大更详细的大脑模型。但是越复杂的模拟越容易受到传统计算机硬件的限制,正如 Modha 的耗能模型所展现的那样。
Modha 的人脑模拟实验在劳伦斯利弗莫尔实验室中完成,运行于搭载蓝色基因 BlueGene/ Q 系统的 Sequoia 超级计算机之上,Sequoia 是一个传统计算机硬件的超强集合体:它由大量传统计算机芯片、含数百万晶体管的指甲大小的硅晶片驱动。控制传统计算机芯片结构和功能的规则与我们人类的大脑完全不同。
但事实上,计算机完全不同于人类「思考」方式使得它们在进行数值计算等任务时具有优势。而在其它领域,如理解人类语言或从经验中学习,计算机明显落后于人类。如果科学家想要模拟出一个可以与人类智能相媲美的大脑,他们可能必须从更好的构件——由人脑启发的计算机芯片(神经形态芯片)开始。
所谓的神经形态芯片复制了大脑的结构——也就是说,它们使用类似于神经元动作电位的「神经元脉冲」相互交流。这种脉冲行为允许芯片消耗极少的能量,并且即使将之拼接成非常大规模的系统时,也能保持节能。
「在我看来,最大的优势是可扩展性」,安大略省滑铁卢大学的理论神经科学家 Chris Eliasmith 说。在他的《如何构建大脑》(How to Build a Brain)一书中,Eliasmith 描述了一个由他创建并命名为 Spaun 的功能性大脑的大规模模型。
当 Eliasmith 运行 Spaun 的初始版本时,它有 250 万个「神经元」,即使这个模型运行在最好的传统芯片上,运行速度也比生物神经元慢 20 倍。「每当我们增加几百万个神经元,它就会相应得再慢几十倍,」他说。
但当 Eliasmith 在数字神经形态硬件上进行一些模拟时,他发现它们不仅速度快得多,而且能效高出 50 倍。甚至更好的是,随着 Eliasmith 模拟了更多的神经元,神经形态平台变得更有效。这是神经形态芯片旨在复制自然的方法之一,假定大脑模型从蠕虫大脑的 300 个神经元扩大到人脑的 850 亿个神经元,大脑的能量和效率会按比例增加。
神经形态芯片在执行复杂计算任务时消耗极少的能量,这一能力已经引起了科技行业的关注。神经形态芯片的潜在商业应用包括节能超级计算机、低功率传感器和自学习机器人。但是生物学家想到一个不同的应用:构建一个功能完备的人类大脑复制品。
神经形态硬件借鉴了动物神经系统的架构,通过类似于生物神经元动作电位的脉冲转发信号。这一特性使得硬件消耗的能量更少,比在传统芯片上运行大脑模拟要快几个数量级。
图片由友尼森欧洲有限责任公司提供;© 海德堡大学;英特尔公司;IBM 研究院
现今的许多神经形态系统,从 IBM 和英特尔开发的芯片到作为欧盟人脑计划一部分创建的两个芯片,都对能够远程访问系统来运行模拟的研究者开放。研究人员正在使用这些芯片来创建单个神经元和突触的详细模型,并译解如何将单元组合在一起来创建更大的大脑子系统。
这些芯片允许神经科学家测试关于视觉、听觉和嗅觉在实际硬件上工作原理的理论,而不仅仅是在软件上。最新的神经形态系统也使研究人员能够开始复制人类思考和学习方式这一更具挑战性的任务。
现在还为时尚早,真正开发出神经形态芯片的潜力需要理论、实验和计算神经科学家以及计算机科学家和工程师的共同努力。但是最终的目标是宏伟的——那就是弄清楚大脑的各个组成部分是如何共同创造思想、感觉甚至意识的。
英特尔神经形态计算实验室主任、计算机工程师 Mike Davies 表示:「对大脑进行逆向工程是我们能够承担的最雄心勃勃的技术难题之一。」
一切都离不开架构
加州理工学院科学家 Carver Mead 于 20 世纪 80 年代创造了「神经形态」(neuromorphic)一词,此前他注意到,与构成现代计算机芯片的数字晶体管不同,模拟晶体管更接近于神经元的生物物理学特性。
具体来说,模拟电路中非常微小的电流——小到电路实际上处于"关闭"状态——表现出的动力学类似于通过生物神经元通道但不会导致动作电位的离子流。
被 Mead 和他同事们的工作所吸引,20 世纪 90 年代中期,Giacomo Indiveri 决定在加州理工学院进行他的博士后研究。现在,作为瑞士苏黎世大学的神经形态工程师,Indiveri 管理着为数不多的几个继续使用 Mead 方法(即使用低电流模拟电路)的研究团队之一。
Indiveri 和他的团队手工设计芯片的布局,这一过程可能需要几个月的时间。「这是用笔和纸完成的工作,因为我们试图提出优雅的解决方案以实现神经动力学,」他说。「如果你做的是模拟电路,那么它在很大程度上仍然是一门艺术。」
一旦完成了布局,他们就会把设计通过电子邮件发给一家代工厂——与生产智能手机和电脑芯片具有相同精度的金属铸造厂。最终的芯片看起来大致就像一个智能手机芯片,但它的功能就像是通过几个节点传播电子脉冲的「神经元」网络。在这些模拟神经形态芯片中,信号通过不同强度的实际电压脉冲来转发。就像在大脑中,信息是通过不同神经元脉冲时序来传递的一样。
「如果你向神经生理学家展示其中一个神经元的输出,他将无法告诉你这是来自硅神经元还是来自生物神经元,」Indiveri 说。
这些硅神经元代表了一种复制人类神经系统的不完美尝试。生物神经元是模拟-数字混合系统;它们的动作电位模仿数字硬件的离散脉冲,但它们也是模拟的,因为神经元中的电压电平影响被传输的信息。
模拟神经形态芯片具有与生物神经元的物理行为非常相似的硅神经元,但它们的模拟特性也使得传输的信号不那么精确。虽然我们的大脑已经进化出弥补其不精确部分的能力,但研究人员已经将这一基本概念带入了数字领域。
IBM 和英特尔等公司专注于数字神经形态芯片,其硅神经元复制具有不同物理特性的信息在生物神经元中的流动方式,其原因与传统数字芯片统领我们绝大多数计算机和电子产品的原因相同——它们具有更高的可靠性并且易于制造。
照片由友尼森欧洲有限责任公司提供
构建模块:每个 SpiNNaker 芯片与内存(左上角)封装在一起,然后拼接成更大的设备,如右上角的 48 节点板。多个板可以连接在一起,形成更大的 SpiNNaker 系统(如上)
但是这些数字芯片按照捕获到的大脑的架构来维持它们的神经形态状态。在这些数字神经形态芯片中,脉冲以信息包的形式出现,而不是实际的电压脉冲变化。英特尔的 Davies 表示:「这与我们通常在计算机上设计的任何东西都大不相同。」
无论脉冲采用何种形式,该系统只在输入达到某个阈值时传递信息,允许神经形态芯片每次少量而不是大量消耗能量。这类似于大脑神经元在它们准备好时而不是在定时器的命令下进行通信的方式。另一方面,传统芯片大多是线性的,数据穿梭于存储数据的内存硬件和由严格内部时钟控制进行数据计算的处理器之间。
当 Modha 设计 IBM 的神经形态芯片 TrueNorth 时,他首先分析了大脑的长距离接线图,这些图描绘了猕猴和人类大脑不同区域之间的连接情况。「它真正开始告诉我们有关长距离连通性、短距离连通性,以及神经元和突触动态的信息,」他说。
到 2011 年,Modha 发明了一种含有 256 个硅神经元的芯片,其规模与线虫的大脑相同。利用最新的芯片制造技术,Modha 将神经元封装得更紧,以缩小芯片尺寸,并将 4096 个这样的芯片拼接在一起,才有了 2014 年 TrueNorth 的发布。TrueNorth 包含 100 万个合成神经元——相当于一个蜜蜂大脑的规模——消耗的能量比传统芯片少几百倍
神经形态学芯片(如 TrueNorth)在其人造神经元之间具有非常高的连通性,类似于在哺乳动物的大脑中看到的那样。大规模并行处理的人脑的 850 亿个神经元通过大约 1 千万亿个突触高度互联。
TrueNorth 要简单得多——它包含 2.56 亿个「突触」,连接着 100 万个神经元——但是通过将多个 TrueNorth 芯片拼接在一起,Modha 创造了两个更大的系统: 一个模拟了 1600 万个神经元和 40 亿个突触,另一个模拟了 6400 万个神经元和 160 亿个突触。目前,超过 200 名来自不同机构的研究人员可以免费使用 TrueNorth。
除了高度互联性和脉冲特性,神经形态芯片还复制了生物神经系统的另一个特征: 传统的计算机芯片将处理器和内存分散在不同的位置,但神经形态芯片往往有许多微型处理器,每个微型处理器都有少量的局部存储器。
这种结构类似于人脑的组织,神经元同时进行数据存储和处理。研究人员认为,这种神经形态架构要素可以使得这些芯片建立的模型更好地复制人类的学习和记忆。
学习能力是英特尔 Loihi 芯片的一个焦点,该芯片于 2017 年 9 月首次发布,并于去年 1 月与研究人员共享。
为了模拟大约 13 万个神经元和 1.3 亿个突触,Loihi 引入了脉冲时间相关的突触可塑性模型 (STDP),这是一种通过突触前和突触后脉冲相对时间在大脑中调节突触强度的机制。
如果一个神经元在第二个神经元之前触发,那么它与第二个神经元的连接就会增强,而如果触发顺序颠倒,连接强度就会减弱。这些突触强度的变化被认为在人类大脑的学习和记忆中起着重要作用。
负责 Loihi 开发的 Davies 表示,研究人员的目的是捕获人类大脑擅长而当前人工智能模型不擅长的快速终身学习过程。像 TrueNorth 一样,Loihi 是分布式的,供不同研究人员使用。
随着越来越多的研究团队使用这些芯片来模拟大脑,Davies 说,「希望一些更广泛的原理能够更清楚地解释我们在大脑中看到的一些惊人能力。」
神经系统科学中的神经形态学
对于所有潜在的科学应用而言,TrueNorth 和 Loihi 并不是专门为神经科学家构建的。他们主要是研究芯片,旨在测试和优化神经形态结构,以提高其能力和易用性,以及探索各种潜在的商业应用,从语音和手势识别到节能机器人以及可为智能手机和自动驾驶汽车提供动力的设备上机器学习模型。
另一方面,欧盟的人类大脑计划(Human Brain Project)已经开发了两个神经形态硬件系统,其明确目标是理解大脑。
BrainScaleS 于 2016 年推出,它将许多芯片组合在大型硅晶片上,更像是超薄飞盘而不是指甲。每个晶片包含 384 个模拟芯片,它们运行起来相当于增强版的 Indiveri 的模拟芯片,是为提高速度而不是降低功耗而优化的。每个晶片上总共模拟了大约 200,000 个神经元和 49,000,000 个突触。
作为欧盟人类大脑计划的一部分,BrainScaleS 和神经形态系统 SpiNNaker 都受益于这一计划,这一计划背后有着许多理论、实验、计算神经科学家组成的大型社区。与这个社区的互动引导着新功能的增加,这可能对科学家有所帮助,并允许从两个系统中得到的新发现快速反馈回该领域。
英国曼彻斯特大学的计算机工程师 Steve Furber 在 20 年前构想出了 SpiNNaker,他已经设计了超过 10 年。在 SpiNNaker 小型数字基础芯片上艰难探索 6 年之后,Furber 说,他和他的同事们在 2011 年实现了所有功能。
自那以后,研究小组一直在将这些芯片组装成规模更大的机器,以 2018 年末开启的拥有百万处理器的机器告终。Furber 预计 SpiNNaker 应该能够实时模拟老鼠大脑中的 1 亿个神经元——而传统超级计算机做到这一点速度要慢 1 千倍左右。
目前,欧盟人脑计划系统免费向学术研究实验室开放。神经科学家开始在 SpiNNaker 硬件上运行他们自己的程序,以模拟大脑特定子系统的高级处理过程,如小脑、皮质或基底神经节。
例如,研究人员正在试图模拟一个小的重复结构单元——皮质微柱,该微柱位于大脑外层,负责大多数高级功能。「微柱很小,但是它仍然有 8 万个神经元和 2.5 亿个突触,所以建模这个微柱并不是一项小工程,」Furber 说。
接下来,他补充到,「与仅从个体大脑区域着手相反,我们开始想从系统级创建」,逐渐接近为人类智力提供动力的含 850 亿个神经元的人脑的全尺寸模型。
模拟大脑
使用神经形态硬件对大脑进行建模可以揭示神经元计算的基本原理,达特茅斯学院的计算神经科学家 Richard Granger 说。神经科学家可以非常详细地测量神经元的生物物理和化学特性,但是很难知道这些特性中的哪些对大脑的计算能力真的重要。虽然神经形态芯片中使用的材料与人脑的细胞物质完全不同,但使用这种新硬件的模型可以揭示大脑传递和评估信息的计算原理。
在硅中复制简单的神经电路帮助 Indiveri 发现了大脑设计的潜在效益。他曾经给一个博士生一个神经形态芯片,该芯片能够模拟脉冲频率适应,这种机制使人类习惯于恒定的刺激。
由于在芯片上压缩了空间,学生决定不实现这个功能。然而,当努力降低芯片的带宽和功率要求时,他最终得到了一些看起来与他移除的脉冲频率适应相同的东西。
Indiver 和他的同事们还发现,长距离发送模拟信号的最佳方式不是将它们表示为连续可变的流,而是像神经元一样,将它们表示为一系列脉冲信号。「如果你想最小化能量和带宽,神经元所使用的技术被证明是传输信号的最佳技术,」Indiveri 说。
神经形态硬件也可以让研究人员测试他们关于大脑功能的理论。康奈尔大学的计算神经科学家 Thomas Cleland 建立了嗅球模型来阐明支撑我们嗅觉的原理。使用 Loihi 芯片使他能够建立足够快的硬件模型以模拟生物。
当从化学传感器(我们的气味感受器的人工版本)给定数据,系统在只接触到一个样本后就学会了识别气味,超过了传统的机器学习方法,并且更接近人类的优秀嗅觉。
「通过成功地映射类似的东西,并在神经形态芯片上显示它的工作情况,是你确实理解了这个系统的很好的证明」,Davies 说。
Cleland 的嗅觉模型并不总是像预期的那样有效,但那些「失败」的实验同样具有启发性。传感器接收到的气味输入有时与模型预测的结果不同,可能是因为气味比预期的更复杂或更具噪声,或者是因为温度或湿度干扰了传感器。
「输入信息有点不靠谱,我们知道这并不能骗过我们的鼻子,」他说。研究人员发现,通过注意以前忽略的气味输入中的「噪声」,嗅觉系统模型可以正确地检测到更广泛的输入。研究结果使 Cleland 更新了他的嗅觉模型,研究人员现在可以观察生物系统,看看它们是否使用这种以前未知的技术来识别复杂或含有噪声的气味。
Cleland 希望扩大他的模型规模,这个模型运行在生物实时环境中,分析来自成百甚至上千个传感器的气味数据,这些数据可能需要几天时间才能在非神经形态硬件上运行。「只要我们能把算法放到神经形态芯片上,那么后者的可扩展性就非常好」,他说。「对我来说,最令人兴奋的事情是能够运行这 16000 个传感器的数据集,看看当我们扩大模型规模时,算法会有多好。」
SpiNNaker、 TrueNorth 和 Loihi 都能以与生物相同的速度对神经元和大脑进行模拟,这意味着研究人员可以使用这些芯片识别刺激——如图像、手势或声音——当它们出现时,立即处理和回应它们。
除了允许 Cleland 的人造鼻子处理气味之外,这些能力还可以使机器人在消耗很少能源的情况下实时感知并对环境做出反应。对大多数传统计算机而言,这是一个巨大的进步。
对于某些应用,例如可能需要数周、数月甚至数年才能完成的建模学习过程,这有助于提高速度。这就是 BrainScaleS 的用武之地,它的运转速度比生物大脑快 1000-10000 倍。而且这个系统只会越来越先进。随着与神经科学家们密切合作开发新的处理器,它正在被升级为 BrainScaleS2。
这个新系统将能够更好地模拟学习和建模化学过程,比如多巴胺对学习的影响,这是其他神经形态系统无法复制的。研究人员说,它还能够建模各种神经元、树突和离子通道,以及结构可塑性的特征,如突触的损失和增长。
也许有一天,这个系统甚至能够接近人类的学习和智力。海德堡大学的生物物理学家 Johannes Schemmel 说:「我认为,理解生物智能是本世纪最大的问题。」
当前的人工智能系统在灵活性和学习能力方面仍然落后于大脑。Furber 说:「谷歌的神经网络在看过一千万张猫的图片之后才擅长识别出猫,但是如果你给我两岁的孙子只看一张猫的图片,他就能一辈子都认得猫了。」
随着今年晚些时候 Loihi 计划的推出,Eliasmith 希望能够为他的 Spaun 模型增加更高层次的认知和学习行为。他说他特别兴奋的是尝试准确建模人类如何快速且容易地学习一项认知任务,比如一个新的棋盘游戏。像 AlphaGo 这样著名的人工智能游戏玩家必须建模数以百万计的围棋棋局才能学会如何下好。
目前还不清楚复制人类智能是否仅仅是建立更大更详细的大脑模型的问题。「我们不知道我们理解大脑的方式是否存在某种根本性的缺陷,」Eliasmith 说。「我们不知道我们能走多远,直到我们有更好的硬件能够实时运行这些具有数以亿计的神经元的模型」他说,「我认为神经形态学能帮助我们达到这个目标。」
参考文献
1. C. Eliasmith et al.,「A large-scale model of the functioning brain,」Science, 338:1202–05, 2012.
2. D.S. Modha, R. Singh,「Network architecture of the long-distance pathways in the macaque brain,」PNAS, 107:13485–90, 2010.
3. P.A. Merolla et al.「A million spiking-neuron integrated circuit with a scalable communication network and interface,」Science, 345:668–73, 2014.
4. M. Davies et al.「Loihi: A neuromorphic manycore processor with on-chip learning,」IEEE Micro, 38:82–99, 2018.
5. J. Schemmel et al.,「A wafer-scale neuromorphic hardware system for large-scale neural modeling,」Proc 2010 IEEE Int Symp Circ Sys, 2010.
6. S.B. Furber et al.,「The SpiNNaker Project,」Proc IEEE, 102:652–65, 2014.
原文链接:https://www.the-scientist.com/features/building-a-silicon-brain-65738