SIA,美国半导体产业的代表组织。美国半导体产业是美国顶尖出口产业之一,也是美国经济实力以及全球竞争力的关键力量之一。SIA 成立于 1977 年,联合了产量占美国 80% 的公司力量。通过与国会、政府以及其他关键产业份额占有者合作,SIA 旨在增强美国半导体研究、设计以及制造方面的领导地位,并敦促出台鼓励创新的政策规定,推动行业进步和国际竞争。SRC,美国半导体研究联盟,是一个世界级的半导体技术研发联盟,非盈利组织。其备受推崇的大学研究项目已经成为业界一些最具影响力的实体研发战略中不可或缺的一部分。机器之心对该报告中与计算与算法密切相关的部分进行了编译。读者可以从以下链接下载报告英文全文 PDF。
网盘地址:http://pan.baidu.com/s/1dFEILMD
执行摘要
半导体技术是数字和信息时代的基础技术。本报告呈现了那些让行业竞争持续下去的研究愿景,这些愿景也将为支持多经济领域的多种应用与技术提供可能。在努力推进现存技术的同时,一系列领域之外的关键性研究也十分重要。
研发方面的投入,显著提升了半导体行业的创新速度。2016 年,全球半导体行业的研发投资占总收入的 15.5%,总额达 565 亿美元,是全球研发投入最高的行业。使计算能力与功能变得更快、更优、价格更低廉的关键性驱动因素,就是活跃了几十年的摩尔定律:每 18 到 24 个月,芯片上可容纳晶体管数量就会是之前的两倍。这种传统的硅基半导体技术正逐渐成熟,有必要寻找一种超越硅的新技术路线图。冯·诺依曼计算领域(如低功耗、低电压、beyond-CMOS 逻辑与存储器件以及相关材料)需要有所发展。而在非冯. 诺依曼计算领域,新的存储部件与材料有望促进半导体行业创新。
为了使半导体行业继续提升性能,更广泛的研究团体需采用一种综合性方法,它应当能够兼顾半导体技术的各个方面,包括新材料、新的制造技术、新结构、新系统架构以及新应用。无论是小型传感器,高性能计算机还是处于二者级别之间的系统,这些未来基于半导体的系统都必须在尽可能提升性能的同时,在保证安全性与可靠性的前提下将耗能最小化。半导体行业的愿景就是本报告所指出的这些议程,它们会让应用领域(比如人工或增强智能、物联网、高性能计算系统,以及我们期待并依赖的互联社会)进一步取得基础性突破成为可能。若要实现一种新型应用,清晰的研究愿景是基础。本篇报告正是服务这一目的:指出整个半导体行业和价值链中,需要优先考虑的研究投入。2016-17 年,行业里的各类专家和领导者一起,花了九个月的时间列出了这些对发展至关重要的领域。它们是:
1. 先进设备、材料与封装
2. 互连技术与架构
3. 智能存储与内存
4. 电源管理
5. 传感器与通信系统
6. 分布式计算与网络
7. 认知计算
8. 基于生物学(Bio-Influenced)的计算与存储
9. 高级架构与算法
10. 安全与隐私
11. 设计工具、方法与测试
12. 下一代制造范式
13. 环境健康与安全:材料与工艺
14. 创新计量(Metrology)与表征
认识到半导体行业的根本重要性,用投资引领半导体研究、制造与创新的国家,将获得重要的经济和社会效益。创新与人才是全球性竞争使在这些领域的适时投资成为当务之急。业界、学界以及政府应该对上述领域和报告中详细介绍的领域持续性投入。只有充足的投资才能推动创新与实际应用。
愿景:简介与概述
我们生活在一个几乎全由半导体驱动的世界中。从汽车轮胎与医疗显示器,到大量基于云端的计算机系统与侦察卫星,半导体是传感器不可或缺的组成部分。这个半导体驱动的世界最大的特点就是充斥着大量数据与信息,具有超连接性,还有无处不在的计算,颠覆性应用程序也日益增多,比如无人驾驶汽车、个性化「电子(electroceutical)」药物、沉浸式教育工具以及智能助手,这些应用程序可以学习并提供日常决策建议。在这些视野之外,还有无数我们现在还难以想象的应用方式,这些应用将以增强或人工智能(AI)及其他半导体技术为基础。
从上世纪 60 年代广泛采用、占满一个房间的大型计算机,到如今能够放进口袋或者戴在手腕的强大移动设备,这要归功于半导体晶体管技术的不断小型化,这一技术趋势就是我们熟知的摩尔定律。除了提高计算性能,较小的晶体管意味着能耗更少,运行速度也更快。随着硅晶片的晶体管数量呈指数级增长,每个晶体管的性能显著增加,且成本大幅下降。
半导体技术的进步带来创新,也带来了新产品、新业务与就业机会以及全新的行业。前瞻未来可以发现,推动未来创新的关键因素便是嵌入式「智能」以及计算系统连接性的大幅增长,这也是物联网(IoT)不断扩大、收集和分享大量数据(通常被称为大数据)能力的基础。同时,高性能计算也已经变得更加强大,有望应用数据分析和机器学习,从数据的雪崩中提取有用的信息和知识。
直至最近,大部分半导体研究关注的仍然是那些旨在压缩晶体管的大小的技术、材料和工艺,让摩尔定律不至于失效。然而,就压缩晶体管大小而言,摩尔定律可能走到了尽头,但这也提出了新的研究方向和需求,研究人员也要探求各种策略。比如,新的模拟技术使通信技术得到了很大进步。不断出现新的进路来研究和设计未来计算和信息处理设备和系统。我们需要新的设备来增加硅基晶体管,也需要新型的计算架构来取代传统的冯·诺依曼架构,走向全新的计算范式。
新的计算方法和应用需要增强安全和隐私。安全性至关重要,因为如今的系统几乎都不是独立的,而社会是一个系统体系,即使是处理看似无关紧要的数据的设备也能够提供有关敏感信息或私人信息的连接。安全性应当成为其内部属性,而不应流于表面。加密研究公司总裁兼首席科学家 Paul Kocher 警告道:「如果我们不解决安全问题,新技术对人类的净利益将不复存在。」
随着嵌入式与智能系统愈加普及并相互关联,额外的安全和隐私挑战正在增加。半导体技术与设计流程需要新的方法来解决物联网生态系统的复杂性和规模所带来的安全和隐私挑战。
前行之路并不如摩尔定律时代那般清晰。然而,随着收集与处理信息能力的不断增强,一些预想到的和未曾想到的经济与社会效益的巨大潜力正在推动科学和工程的发展。在这个关键点上,若要进步,业界、政府以及学界需要再接再励。从基础科学研究到商业应用,每个部门都有有机会在其中扮演关键角色。物联网和许多应用程序的互联性需要产业之间、产业与学术机构和政府之间进行更加深入的合作,这样才有可能获得成功。
展望:未来计算的研究需求
分布式、网络传感器、大量数据中心以及计算能力相结合,支持创新并提升生活质量——想要实现这样的未来,需要一个基础性科学技术研究的广泛平台。旨在确保适当安全性的同时,也能迅速改善能源效率、性能以及功能的范式。为此,我们迫切地需要研究超越传统 CMOS 设备、电路,超越冯·诺依曼结构,超越传统信息处理方法。此外,也需要研究新材料和可伸缩工艺,它们会引发一种将这些新技术融入产品的新制造范式。
物联网、云端、高性能计算以及许多半导体应用所赖以存在的技术,可以视为一个「堆栈」结构(如图 1)。材料、结构、设备以及电路领域的进展,能让架构支持尚未创造出来的算法和软件,进而支持那些未来应用,这些应用会继续满足国家经济、社会及安全需求。任何给定的应用程序,都需要对这个堆栈结构中的许多层(如果不是所有层)进行具体研发。
不同行业专家小组确定了最终相互依存并与这一技术「堆栈」中多层相关的研究领域。迈向上述目标,需要这个「堆栈」各层科学家和工程师的合作,以及跨领域合作。
为了维持美国在先进计算系统领域的领先地位,专家团队认为要关注以下 14 个研究领域:
先进设备、材料和封装:晶体管和其他半导体器件是计算、数据存储和嵌入式智能等的基本构件。由于当前技术已经接近物理极限,人们也开发了新的架构,因此,新材料、设备以及先进封装方案至关重要。这些进步将会实现终极 CMOS 技术、超越(beyond)-CMOS 应用以及支持非冯. 诺依曼计算范式。
互连技术与架构:互连器件在集成电路之间及其内部传递数字信息。当前互连技术的局限性导致效率低下,并影响了系统性能。互连材料、机制与设计都需要革命性进步。
图 1. 一个现实应用背后的技术「堆栈」。
智能内存与存储:基于数据分析和机器学习的应用程序迅速增长,这些应用将受益于内存使用及访问方式的范式转变。内存与存储技术及架构方面的进步将提高系统的性能、增强其安全性并使智能系统成为可能。
电源管理:关键的基础架构建设、工艺及其它系统都离不开电。下一代能源系统取决于宽带隙半导体材料、有/无源电源设备、设计与封装方面的革新,这样就有可能变革能源系统高效转换、控制、调整和存储的方式。
传感器与通信系统:信息时代与新兴物联网的一个关键驱动因素是无缝感知和交流信息的泛在(Ubiquitous)能力。未来的传感器系统需要能够自适应地感知环境、提取和处理信息,并自主做出反应的节能设备、电路、算法和架构。通信系统必须是动态自适应且有弹性的。还需要通过利用高效频谱和减轻干扰来确保网络服务的安全性。
分布式计算与网络:互联网日益增长的计算能力和物联网所带来的海量数据为分布式计算创造了一个挑战,也带来了机遇。支持大量进程与线程以及多种应用程序的大规模分布式计算系统,需要在这些方面取得进步:系统的可扩展性及效率、通信、系统管理优化、弹性和架构。
认知计算:能够模仿人脑、进行规模化自我学习、推理、决策、解决问题并与人类互动的认知系统,将给社会和经济带来前所未有的影响。要想创建具有基本认知能力的系统,就需要在感知、学习、推理、预测、规划和决策等方面取得进展;需要用于监督和无监督学习的高效算法及架构、无缝人机接口、网络认知子系统,并将现有的冯诺依曼计算系统整合进新的认知系统当中。
生物学影响下的计算与存储:生物学与半导体技术的融合有可能导致信息的处理、存储、设计与结合以及纳米制造方面出现大规模的变革性进展。例如,基于 DNA 的存储技术、生物传感器、受细胞启发的信息处理技术、生物分子与混合生物-电子系统的设计自动化以及受生物学启发的纳米制造。
高级且非传统的架构与算法:新型应用程序和高级的计算系统需要与算法和硬件协同开发的可扩展型异构架构,从而实现高性能、高能效、高应变力及高安全性。常见的冯诺依曼架构的替代方案包括:近似计算、随机计算,而受香农启发的信息框架则在能效、延迟和错误率方面有着明显优势。
安全与隐私:对互连、智能系统的依赖意味着安全与隐私必须是组件、电路和系统的内在属性。值得信赖的设计与制造以及安全硬件,要求设计要考虑安全、安全原则与指标、安全验证工具与技术、对威胁和漏洞的理解以及授权策略。
设计工具、方法与测试:设计与测试能力的进步被耦合进了材料与架构的技术突破中,使新的能力被纳入到设计并实现了规模化生产。超越互补金属氧化物半导体(CMOS)技术方案、日益增长的复杂性和多样性,也为我们带来了巨大挑战。
下一代制造范式:需要先进的制造技术(包括非 CMOS 型的先进工艺)和工具以及具有较高精度与产量的计量方法来处理新型材料、制造新兴设备与电路以及演示功能系统。
与材料和工艺有关的环境健康与安全问题:半导体行业的声誉、创新自由以及盈利能力,取决于积极的环境健康与安全态度。除了早点增进对材料和工艺的 EHS(环境 Environment、健康 Health、安全 Safety 的缩写;EHS 体系:是环境管理体系 EMS 和职业健康安全管理体系 OHSMS 两体系的整合)了解,还可以改进当前使用的材料和工艺。寻求能够最大限度减少废物流、排放量和职业风险的战略与技术。
创新计量与表征:半导体的特征以纳米为度量单位,且其走向是三维的堆栈结构。创新的表征和计量方法对基础材料的研究、纳米级制造、设备测试和复杂系统的集成与评估来说是至关重要的。这些关键议题清楚地说明了未来技术挑战的多样性以及大学、政府研究机构和行业中的基础研究人员与技术专家之间协同工作的重要性。
本报告描述的一个综合、协作研究的成功范例就是半导体研究联盟(Semiconductor Research Corporation/SRC)。SRC 是一个行业协会,自 1982 年以来,就与政府和学术界展开合作,确定了研究目标并支持着预竞的(precompetitive,译注:大型企业之间进行竞争前期的产产、产研、产学合作,在后期研发阶段则各自选择专利保护,从而得以扩大规模并极大加速早期研发活动。)大学合作研究项目,这些研究项目致力于解决半导体行业的长期需求。除了增加了对基础研究的投入,SRC 的另一个关键工作成果是对未来的工业科学和工程学领袖的教育。
市场需求正在迅速发展,全球竞争优势的争夺正在加剧,如今的半导体行业正在接近当前技术范式的极限。美国的领导地位需要重大的新技术、新的投资和新的伙伴关系来维持。及时行动也是必要的:设想用用十年的时间,在报告所述挑战中实现突破。是时候面对这些挑战了。
研究领域
本节介绍了 14 个关键领域,在这些领域中,要想获得下一代计算、数据分析、人工智能及其无数个相关的应用程序的效益,基础研究是至关重要的。由于各主题之间是相互依存的,在描述中会有一些内容重叠。这些主题是按照技术堆栈的层级、由低(材料和设备)到高(架构和算法)进行组织,其次是横向维度,如安全性、设计工具、制造和计量。每个描述都谈到了未来 10 年间可进行深入研究的课题以及研究策略建议。每个研究领域对于实现整体愿景来说都是必不可少的。有效进展将取决于跨所有领域的强有力的活动协作。
分布式计算与网络
简介/概述
要想在社会交往、商业、国防和政府管理中对企业和社区进行计算方面的支持,就需要大规模分布式计算系统。这些系统支持大量参与者及不同的应用程序。
分布式系统的数据中心实例包括:仓库规模的公共云计算基础设施、用于科学研究和商业应用(比如石油和天然气勘探)的高性能计算集群。新兴的大数据工作负载运行于分布式集群之上。处于网络边界的物联网的配置是基于分布式系统,其中边缘与端点设备在性能、处理能力和能耗方面比数据中心集群中的计算节点要小得多。在数据中心层与边缘层之间,一个分布式系统中可能会存在一个或多个聚集层,在端点与边缘设备相对有限的能力之下,它们可以提供中间处理与存储来平衡数据中心或云端的高处理能力。虽然集中式计算系统(如对称多处理器)在工作负载方面(如事务处理)发挥了至关重要的作用,但是对称多处理器对于内存一致性的要求使其无法扩展到几十个处理器上。分布式系统不需要类似的一致性模型,因而可以扩展到更多处理器上。其结果是,全球计算能力的持续增长是建立在分布式架构的基础之上。
在分布式架构中,包括计算、内存、存储、传感器和执行器的资源分布于整个系统中,并使用各种网络架构和技术互相联系。由于一个应用程序必须在其执行过程中访问这些网络(分布式)资源,因而通信的成本和开销成为衡量系统性能与效率的一个重要因素。新的终端应用程序需要在通信(即降低成本和延迟)和带宽的增加方面得到显着改善。在延迟与能源问题上基于物理的执行局限性加剧了通信技术优化方面的挑战。因此,有必要使用有线和无线技术与协议,在(从芯片到数据中心之间的)所有层级上实现网络的创新。
在成本以及性能增长与计算、存储和网络方面的能源消耗的限制上存在着显著的不平衡,这需要大大超越今天的硬件和分布式架构的全新的分布式系统。为了对计算、现有工作负载和(尤其是)利用大数据并提供认知计算能力的新兴应用程序持续增长的需求进行支持,分布式架构和系统必须取得巨大的进步。本研究的目的是探索具有无限可扩展性的超大规模分布式架构的挑战。这种可扩展性在能耗与成本问题上必须实际可行,如此一来这些新的分布式系统在经济上就是可行且可部署的了。由于摩尔定律的成熟,性能与能耗方面的进步将越来越依赖于加速器——今天的图形处理单元(GPU)就是其中一个例子——和其它异构架构技术。因此,未来的分布式系统必须越来越多地实现异质性,而无需增加一个大的软件开发或编程负担。新式、多层、有线和无线连接的系统是必需的;层可以包括传感器层和/或执行器层、聚集层,云或数据中心或它们的组合。期望所有层都是高度可扩展的,且各层之内及之间都要有异质性。
物理世界的端点接口往往模拟自然;但是本节主要侧重于数字计算,解决端点信号被转换到数字领域(大多数系统中的大多数处理过程发生于此)时的所有处理过程。与模拟信号连接的传感器和执行器问题会在另一节中得到解决。分布式系统的工作量与系统管理方面出现了许多挑战。安全与隐私也是必须解决的关键问题,包括多租户的安全保障问题和多工作负载的情况。要想让这些新式而庞大的系统能够支持广泛的现有及新兴的工作负载,就需要去研究如何解决资源与应用管理方面的关键新挑战。
潜在的研究课题
系统的性能、效率和适用性:为了实现并交付系统价值与能力方面的大幅改进,研究工作需要向前推进分布式系统的性能增长并实现各级(从单个元件到整个系统)能源效率的显著改善。相关目标是要:
为多层、异构层级(例如传感器层、聚集层、数据中心和/或云)的大型系统论证可扩展性与效率方面的重要技术成就水平。
实现系统性能、能效以及计算、网络和存储鲁棒性的重大改进。
包括任务中的非传统和传统的架构,以扩展分布式系统软件研究与应用的边界。
网络和通信:分布式系统需要系统各个层次的高度有效的通信机制和技术,从芯片通信到数据中心之间的广域网络。对网络和通信的研究是本研究的核心。主要研究领域包括:
可以实现有线和无线通信在能效和延迟方面 10 倍以上性能提升的架构、协议、算法和系统。
对于数据中心层面的互联与网络创新的探索,它可以极大提高可扩展性并减少延迟和能耗。
自优化与弹性网络、可重构的互联结构以及高速、安全的数据链接。
系统管理:分布式系统管理有多个方面。该系统本身的正常运行必须受到监控,且其必须进行调整和优化以达到必要的性能和服务质量水平。数据的安全性与隐私性必须得到监控、管理和保证。工作负载必须被调度、监视和调整。还需要进行相关研究以推动所有这些领域中的前沿进展。建议的重点领域是:
为整个系统的隐私和认证协议的管理提供并论证创新成果,且需具有可证明的性能和保证。
为大型、多租户系统提供并论证配置、工作负载和数据管理方面的创新。
为自动预测、诊断、重新配置、优化和大规模分布式系统的修复而开发系统仪器和分析方法。
分布式系统架构和基本原理:为了实现持续的改进、可扩展性以及对更广泛的异构分布式系统的部署,我们鼓励在下述分布式系统的计算机科学与计算机工程的核心领域方面的研究:
弹性分布式计算基础。
分布式与网络系统的编程范式和语言。
软件定义的基础设施和资源虚拟化。
分布式决策与优化支持。
新式计算架构以减少分布式计算环境中在高光谱遥感、数据融合、决策和安全的执行器驱动方面用于处理和传输数据(本地的和远程的)的能源和时间。
合作与协调的分布式系统的概念,它们是可扩展的且能够在受到通信挑战和孤立的环境(其中有线与无线的环境都不能保证可用性、可靠性与安全性)中正常运作,还可以在通信恢复或部分恢复的情况下进行智能同步。
研究建议
开发可扩展性、性能和鲁棒性达到突破性水平的节能型异构分布式系统。开发高效且安全的通信机制和技术。在系统管理、监控与优化方面展开研究。
在分布式计算、编程范式、基础设施、资源虚拟化、新型架构、弹性等方面进行基础研究。
认知计算
简介/概述
认知计算指的是一种模拟人类大脑的智能信息处理系统。这种系统能实现规模化的自我学习,主动解释数据,执行目的性推理和决策,使用习得知识解决不熟悉的问题,并自然地与人类进行实时互动。它们不仅能给出数值问题的答案,而且还能在庞大且杂乱无章的数据中找到隐藏的模式,为人类决策者提供「假设、合理的论断和建议」。其是通过构建和扩展社交环境模型创造出这些能在真实世界运作的自主智能机器,在这个模型中,它们能感知并与本地人类操作者和全球的智能网络进行交互,从而完成高度复杂的任务。
认知系统具备了推动经济竞争力和贡献社会福利的潜力。比如说,它们能使得生产制造、行政和财务管理流程的自动化程度达到一种迄今为止不可能实现的水平。动精准医疗的发展,开发出个性化的教育程序,更高效地部署政府资源和社会服务,迅速探测出环境中的异常现象,高效执行灾害防治和环境保护措施,以及更人道地进行防御和军事行动,这些都只是我们利用认知系统取得的巨大飞跃的一小部分。这些应用靠的是认知系统迅速吸收相关信息并从结构松散或非结构化的数据洪流中提取出有意义的结论的能力。
要想实现构建认知系统这一远大目标,我们需要先解决以下几项关键任务:
开发出具备必要感知能力的系统,包括感知、学习、知识生成、推理、预测、计划和决策制定;
为监督学习和非监督学习开发出有效的算法和架构;
开发出无缝人机界面;
开发由认知子系统组成的网络;
将新的认知系统与已有的冯诺依曼计算机系统进行交互。这需要一个全系统方法来实现,包括信息处理、编程范例、算法、架构、循环、策略技术以及材料的发展。除了技术性的挑战之外,还需要解决安全问题,以提供安全且可信任的认知计算系统和网络。
潜在研究主题
感知和学习:为了让认知系统变得通用,且能广泛地服务于社会,它们必须要(1)能感知到周围的环境和与它们交互的人或物,(2)能从传感器数据中提取有用的信息,还要(3)能从人机交互、过去的经验以及其他环境输入中学习。为了实现这个目标,需要进行一些特定的研究,包括:
追求多模式传感技术上的突破进展,比如开发能根据原始传感数据理解环境的感知算法
开发新型算法,能让系统从非结构化、无标记的数据—比如人机交互或其他环境反馈数据中学习,发展出环境感知学习能力,并能把学到的知识或概念转移到新的领域中,实现线上学习和实时交互。
探索现有的学习和深度学习算法的根本极限,研究深度神经网络的理论基础,从神经科学中获取非监督学习的灵感
开发出新的算法和架构,在训练集规模大大缩小的情况下也能达到要求的测试准确度
在目前最先进的深度学习模型水平之外进行研究,以(a)克服对离线学习的依赖,(b)降低对标记训练数据的需要,(c)提升抓取数据高阶结构的能力
为认知负荷、神经网络以及其他人脑激励的计算应用开发高能效、低成本的模拟技术
以创新型器件为基础发展神经形态和仿生计算的基础理论,包括神经元和神经回路的新型实现方法,以及编程范式。这里特别值得关注的有现有水平之外的深度学习网络,超越深度神经网络(DNN)/卷积神经网络(CNN)的认知技术、稀疏编码数据方法。
开发适用于神经网络(Neural Network)应用的重构认知网络,比如,人工神经网络(ANN)、循环神经网络(RNN)、细胞式神经网络(CNN: Cellular Neural Network)等等。
开发神经关联模型、稀疏编码、稀疏分布编码
探索计算机视觉:真实世界中的导航(比如,在自动驾驶载具上)需要对环境有一个详尽的了解。环境信息能通过图像传感器收集到,然后由计算机视觉系统处理和分析,最终输出给制动器和机械功能部件。因此,计算机视觉有时也被算作是人工智能的一部分。
对学习的硬件加速:大规模部署认知计算机系统需要从根本上革新计算机硬件,才能运行以上提到的学习算法,这些算法在速度、训练数据规模、能耗、足迹和成本方面都比现有技术的效率高出好几个数量级,而且不会影响性能。研究主题包括以下这些:
研发出适合用人工神经网络和其他大脑激励算法进行训练和交互的硬件,包括超越 CMOS 器件、材料、存储元件、电路和架构等,来模拟一个神经元的活动。具体手段如下:
进行经常用于高保真学习的本地操作的新器件、存储元件、电路,这些操作包括(矩阵)乘法、加法和除法等
能极大提升效率、准确度、可扩展性和延迟的新型拓扑结构,如脉冲神经网络和推理增强神经网络
允许在大量神经元间变换的新型拓扑结构,这种变换依靠的是学习反馈和多样化的突触联系
在超 CMOS 硬件上的新型存储和记忆表示,以实现比直接数字表示更高的学习效率
多种人工神经网络的可重构网络
神经形态基元(突触、神经元、脉冲并连续的多种振荡器及其网络)的实现
CMOS 硬件,利用了独特的随机且相互联系的材料,采用了超 CMOS 技术
为神经网络及其他大脑激励计算开发出高能效,低成本的技术,例如通过对超 CMOS 纳米器件的固有随机性的权衡,通过深度学习模型到超 CMOS 器件的有效映射。
为机器学习研发硬件材料
将以建立起来的神经和皮层机制与可运作的超 CMOS 硬件相连接
决策制定:在处理高难度挑战和复杂任务时,我们依靠认知计算系统来分析可选项和权衡点、评估风险、探测环境异常、为不确定环境下的决策制定者提供建议。应该研究满足这些需求的算法,此外,还存在以下需要:
开发出加速战略性决策制定的架构,在需要比人类更快的反应速度和非传统性指挥链(chain-of-command)反应的情况下,授权机器做决定
为保证大规模决策系统的安全,要在加密数据上进行计算
信任:为了在认知系统中建立起信任,研究者必须开发可靠的技术来保证训练和测试数据过程的无偏见,完整以及不被破坏。同样也非常需要一些方法来验证学习,推理和决策算法的客观性、稳健性、确定性、弹性和精确性。
其他重要的主题
人机接口
为自动化系统开发无缝人机接口,包括高精确度传感器-反馈物联网系统
开发有人与无人平台间的创新型协作
认知子系统网络
为弹性自我优化和自我治愈网络、存储器、计算元件开发架构,把几十亿台设备都连接到智能系统中
开发社会规模的应用和数据收集系统,能与本地认知系统进行交互来优化决策支持
安全
研究恶意或破坏性的认知系统的特征
理解无意识的有害认知系统的来源和风险
已知的研究活动
在美国国内,有几家机构直接支持认知计算的相关研究:
国家战略计算计划(NSCI),于 2015 年颁布,将以下任务作为它的五项战略性目标之一:「超越摩尔定律之上的计算,」在 10-20 年内「探索并加速未来计算架构和技术的新途径,包括数字计算和替代性计算范式」[比如神经形态计算]。这包括两个平行的努力方向:(1)超越 CMOS 的数字计算(2)超越冯·诺依曼的大规模计算
能源部(DOE)、情报先进研究计划署(IARPA)、国家标准技术研究所(NIST)、国家科学基金会 NSF 和国防部(DOD)都将「支持非 CMOS 技术和非典型 CMOS 技术的开发,NSF、NIST 和 IARPA 已做出早期行动」
DOD、DOE、NSF、IARPA 和 NIST 支持「替代性计算范式或以此为基础的技术」的发展。IARPA 将增加替代性计算范式的投资,包括神经形态计算。
NSF 与 SRC 合作启动了「高能效计算:从器件到架构(E2CDA)」项目,作为开发未来计算系统的第一步,从器件到架构。该项目于 2016 年 10 月正式实施。
网络与信息技术研发项目(NITRD):在 10 个 2017 年开始的子项目领域之中,最相关的包括、机器人和智能系统、人类计算机交互和信息管理、大规模数据管理和分析、高能计算系统基础设施和应用、大规模网络化。
IARPA 的基于皮质网络的机器智能项目(MICrONS):「通过创造革新的机器学习算法实现机器学习的极大飞跃,采用了人脑激励架构和人脑所遵循表现,转变和学习规则的数学抽象。」
国家纳米技术计划(NNI)也参与支持认知计算研究,通过它于 2015 年底启动的未来计算的纳米科技—激励的大挑战(Nanotechnology-Inspired Grand Challenge for Future Computing)项目。
NSF,计算远征(Expeditions in Computing)项目:追求远大的,基础性的研究主题,有潜力定义计算和信息的未来
NSF,增强智能(Robust Intelligence)项目:「增强智能项目包含着复杂真实环境下智能模型的计算性理解和建模,以及在多个领域研究传统上的改进和集成的所有方面,所涉及领域包括人工智能、计算机视觉、人类语言研究、机器人学、机器学习、认知神经科学、认知科学、计算机图像的几个领域,以及相关的领域。」
AFOSR,计算性认知和机器学习(Computational Cognition and Machine Learning program)项目:「该项目支持智能机器行为的基础原理和方法论方面的创新性基础研究,以支持自主系统和混合自主(即人机协作)系统」。此项目的大致概念是未来的计算系统能实现高层次的表达,适应,灵活,自修复以及其他形式的智能行为,并且是在美国空军所面临的复杂,不确定,对抗性且高度机动的环境下实现。
ONR,纳米尺度计算器件和系统(Nanoscale Computing Devices and Systems)项目:「研究纳米尺度材料和结构的电子、光学和磁性特征和潜在的器件功能特性,目标是构建新型计算器件、电路和架构。」
DARPA 的智能数据探索中的非常规处理项目(Unconventional Processing of signals for Intelligent Data Exploitation)。
欧洲也有几个基金项目支持非冯·诺依曼计算概念的硬件实现:
人类大脑计划(Human Brain Project)(始于 2013 年)属于欧盟的未来和正在涌现的技术旗舰项目(EC Future and Emerging Technologies Flagship);它着眼于大脑研究、认知神经科学和人脑激励计算的一些计算方面,还有该项目的神经形态计算平台(Neuromorphic Computing Platform)的设计、实施和运作。
脉冲神经网络架构(SpiNNaker)[33] 是一种为减退神经网络按比例放大硬件安装的多核计算机架构,作为「高性能大规模并行计算平台,适用于大型神经网络的实时模拟」和「在新计算架构的研发中的一个助手。」
专注于用标准 CMOS 电路将忆阻器添加为扩展神经网络性能的突触元件的项目:FP7 项目「DIASPORA」(2013–2017); ERC 项目「NEURAMORPH」(2015–2020); 法国的 ARN 项目「MEMOS」(2014-2019); EU-H2020 项目「ULPEC」(2017–2019); 和「NeuRAM3」(2016–2018)。这些项目资助了新型材料和实现人工突触方面的研究。有些项目瞄准了通过忆阻器和 CMOS 基神经元的协整以实现可训练神经网络的研究。
专注于将容器计算作为硬件中实现神经网络的项目:FP7 项目「ORGANIC」(2009–2012) 致力于建立神经动态架构,作为语音和手写识别统计方法的一种替代;FP7 项目「PHOCUS」(2010–2012) 和 ERC 项目「NaResCo」(2010–2014) 致力于将算法和数学模型映射到光学系统中,首次证明了光子容器系统;后续的 H2020 项目「PHRESCO」的目标是开发容器系统的可扩展以及兼容 CMOS 的实现。
研究推荐
为了拓展认知计算在当今先进技术水平之外的能力,以下的任务至关重要:
把已被证明的学习算法映射到合适且有效的新硬件中。
发明适用于现有硬件的学习/深度学习算法,并证明新算法比现有算法表现更佳。
面对噪音数据和环境时,维持长期预测的弹性(resiliency)。
通过机器智能系统追求对推理和预测过程的深度理解。
生物影响的计算和存储
简介/概述
在生物学、半导体科学和工程学交汇之处是一个新的交叉学科领域,这个领域有潜力在信息处理系统的设计和制造上带来变革性的进展。这些进展将会基于以下几个方面的突破:DNA 合成与表征、生物设计自动化、纳米制造以及对高效节能的生物信息处理过程的理解。利用这个新兴的领域(有时也被称为半导体合成生物学(semiconductor synthetic biology))来实现下一代信息处理和存储,现在是一个合适的时机。
未来的超低能耗计算系统或许会建立在从化学、生物学和工程学交织中的有机系统中得到的原理之上。基于生物学原理和使用生物材料制备的设备能够达到千倍于如今存储系统能够提供的容量,这种新型信息技术是可以预见的。这种进步能够实现比目前的计算机节能一万倍的密集型高性能计算机。
有潜力的研究主题
基于 DNA 的大规模信息存储:在计算和存储的过程中,设备扩展和能量消耗已经成为现代信息和通信技术中的一个具有战略重要性的问题。例如,核酸分子的信息存储密度比现存的任何一个存储技术都要高几个数量级。理论上,1 千克的 DNA 具有 2×10^18 Mbit 的存储容量,这相当于 2035 年到 2040 年的全球存储容量总需求 [35]。DNA 合成和测序方面最新的进展已经使得在生物应用之外实验性地进行 DNA 存储成为可能。主要的突破都发生在 2012-2016 年这短时间内,期间几个组都论证了 DNA 信息存储和主流的信息格式是兼容的 [36,37,38,39]。如果集成 DNA 的存储技术能够被开发,那么这种存储系统可能会得到广泛的应用,尤其在档案类应用中。
高能效、小规模、细胞启发的信息和系统:理解细胞信息处理的原理可以实现新一代的计算系统。在生物计算的特征中,以极低能量运行是最有前途的一个,接近了热力学的极限。那么,未来的结合高密度和低能耗的高功能、有限空间、数字和模拟的半导体系统可以从生物信息处理中得到哪些经验呢?自然界似乎已经解决了亚微观设计的挑战,并为将来的信息处理微系统提供了解决方案。合成生物学的进展开始为未来的半导体技术提出可能的途径。例如,生化反应能够以较高的能量效率进行信息处理,预计这比将来的先进半导体纳米技术的能耗要低好几个数量级。
细胞-半导体接口和混合半导体-生物系统:混合生物-半导体平台既可以使用天然的生物过程和半导体技术,也能够使用合成的生物过程和半导体技术。在这种混合平台中,活细胞和组织可以在细胞生化过程中扮演「生物前端层」的角色,这些生化过程作为对外界的有机接口,并执行生物传感、致动、信号处理、合成以及能量收集功能。并行地,底层的半导体平台能够形成「半导体后端」层,以进行信息计算、控制、交流、存储以及能量供应。集成了生物传感功能和拥有无机信息与计算能力的能量生成功能的自主功能的片上智能传感系统能够实现多种新型应用。例如,这些进步可以刺激将生物传感功能和能量生成与无机计算能力相结合的自主供电的智能传感系统的发展,实现多种新型应用。实例应用包括用于药物发现的快速、高吞吐率的化学筛选,用于个性化医疗的诊断和治疗计划,检测用于防御和环境需要的生化制剂,以及新颖的微观致动器或者机器人。
混合电子-生物系统的设计自动化:复杂的电子生物系统将需要新的方法和设计原则。虽然 ad hoc 合成生物学已经展示了许多令人印象深刻的概念验证电路,但是需要全面的计算机辅助设计工具来可靠地设计更大和更复杂的系统,例如全细胞模型。利用先进的电子设计自动化(EDA)工具和复杂设计的理念可以大大提高生物设计自动化(BDA)功能的复杂性。目前展示的是大约 10^4 个 BDA(生物设计自动化)的等效「位(bit)」(例如,DNA 碱基对)与大约 10^9 个 EDA(电子设计自动化)「位」(例如芯片上的二进制开关)的对比。该主题的范围包括理论基础、设计方法、旨在开发用于转换和整合合成工件的新引擎的标准、用于程序员交互的有效方法和包含多尺度过程的反馈以及能够创建满足复杂生物电子系统要求的软件的自动编程合成工具。
电子纳米制造和材料的生物途径:诸如 DNA、RNA 以及蛋白质等生物分子,可以为开发各种结构和形状提供可编程机制。原理上,细胞以高产出和低能耗制造着惊人的复杂的新结构。生物组装大约以每秒 10^18 个分子的速度进行着(按照生物成长速度,1Gb 的芯片可以在 5 秒内就制成),而且能耗大约是每个分子 10^(-17) 焦耳,这要比传统的化学蚀刻制造方法的能耗小一百倍。基于已经证明的在日益复杂的结构中进行 DNA 控制的自组装技术,这些方法具有制造复杂的小于 10nm 的半导体结构的潜力。此外,工程微生物可以被用来生产具有期望的化学组成和形态的一系列化学制剂和材料。需要开发一些能够完成如下功能的方法:细菌、病毒等可以被用来自组装、图案化、组织或者修复有机聚合物、无机材料、生物聚合材料、功能电路或者电子部件。
已知的研究活动:
ONR 代谢工程(Metabolic Engineering)计划:目标是对微生物或者植物在代谢过程中产生化学物质的本质理解。
ONR 合成生物学(Synthetic Biology)项目:使用合成生物学来扩展病毒、微生物、藻类和植物等生物体的天然能力,
DARPA Living Foundries:开发工具、技术、方法和基础设施,以提高生物设计-建立-测试-学习周期的速度,同时显着降低成本并扩大可以工程化的系统的复杂性。
NSF Evolvable Living Computing 项目:类似与电子计算,开发「程序生物学(program biology)」的能力,并使其民主化(democratize)。
SRC 半导体合成生物学(SemiSynBio):激发非传统思维,聚焦合成生物学和半导体技术之间的协同作用,为半导体行业和其他行业带来新颖的、突破性的解决方案。
研究建议
解决那些仍然未知的在细胞内部关于 DNA 操作以及 DNA 用于大容量存储的潜力。
提升对细胞信息处理原理的理解,以实现新一代的计算系统,它们要么是基于半导体材料,要么是基于生物材料,要么是两者的结合。
攻克另一项技术挑战:编码 DNA 来控制复杂的小于 10nm 的异构结构的组装。
先进的非传统架构和算法
简介/概述
需要研究来奠定可扩展的异构架构的新范式的基础,并与算法的实现一起设计,反过来也是一样。例如,图形处理器利用基于集成加速器的架构,一个基于稀疏矩阵的指令集,以及随机通信来比冯·诺依曼架构更高效地解决图形计算「40」。一个主要的目标就是开发方法和框架来设计并集成广泛的特定应用的计算架构,并要有一致的算法和系统软件创新。节能、弹性以及安全,至关重要。研究的目标就是用 CMOS 和比 CMOS 更好的技术来开发出显著节能并可以扩展到 10^12 个设备/CPU 或者 10^12 个节点/网络上的架构和算法。根据应用,对计算本身的重新认识或许会带来信号信息路径设计的新方法。
为了实现性能、供电和成本上优势,加速器这种异构架构将会越来越被需要。新型架构的主要目标和需求就是解决各种各样的加速器的设计和集成,既有片上的,也有片外的,还要有算法和系统软件的创新。需要针对内部数据或者附近数据的新型可用架构(由于能耗和延迟,移动数据是代价昂贵的),以及自动配置和自动调整系统参数的能力。
自从冯·诺依曼架构出现以来,现代计算几乎在设备层行无差错地运行。依靠近似计算(AC)和随机计算(SC)的计算架构能够允许错误率的显著扩展。对 AC、SC 以及香农启发的信息框架的应用能够在能耗、延迟以及错误率等方面带来明显的好处,或者在错误的硬件层实现可扩展的架构。
目前,电路和系统架构的开发是独立于算法的,这导致性能和能量使用达不到最佳水平。需要有研究来进行关于新型架构和算法协同设计的方法的研究,来填补这一鸿沟,从而提升这类应用的功耗性能指标,如优化、组合、计算几何学、分布式系统、学习理论、在线算法以及加密。专业加速器和特定算法组件的异构集成能够起到重要作用。创新的计算架构技术将会需要实现从 CMOS 到 beyond-CMOS 的转变,beyond-CMOS 能够以低于 CMOS 技术 100 倍的功耗水平运行,同时计算速度只比 CMOS 低 10 倍。同时也希望理论计算机科学也能发挥重要的作用。这一基础主题引发的创新预计会对很多应用的负载产生影响。
有潜力的研究主题
除了上述的广泛主题,有趣的研究主题包括以下但不限于:
非传统计算的硬件和算法的协同设计
使用 beyond CMOS 器件来进行计算的计算理论
用于神经形态计算的计算理论
非冯·诺依曼架构的计算复杂度(时间和存储)
神经形态计算架构的计算复杂度(时间和存储)
随机计算的计算复杂度(时间和存储)
分类器的复杂度,协处理器的复杂度
神经形态计算和随机计算的可扩展性
针对新兴技术和架构的编程范式和编程语言
对新型架构进行扩展的基础理解
近似/随机/香农启发计算在极端环境中的传统计算应用中或者在接近硅/CMOS 技术蓝图的尾声时是适合的
具有非传统热管理、功耗和传输、能量回收、数据收集或存储以及通信的计算系统,它的显著特点就是提供更好的全局效率和性能。
数据表征、存储、传输以及端点解释的可替代模型
在 beyond-CMOS 硬件中采用新型的内存和数据表证,获得能比数字表征的数据更高效地被处理的更高阶的结构和信息内容
具有精简的数据移动和通信需求的新型架构,以及在系统负载和用况模式变化时为了自适应地优化数据移动策略的新型算法
新的计算法存储范式,其中硬件安全是架构固有的
使用接近热力学极限的设备进行计算
在极端的但是可管理的非传统操作环境中对系统的性能进行评估
硬件软件协同设计(HW-SW co-design):
加速器的设计和集成,基于现有的以及新兴的设备,对异构系统从电路级别到系统软件级别进行设计和集成
开发加速器的非传统技术
开发软件机制来实现对加速器的透明使用
协同设计的硬件和算法
节能电路、架构、算法和软件:硬件-软件算法协同设计方法和工具,包括底层物理和故障的物理层;这些都需要节能传感系统、信息抽取以及自治系统
能够显示地扩展到 10^12 个设备/处理器的架构(不包括存储)
加密和安全的计算理论.
校验和验证
异构系统:
具有新型内存分层的片上系统
非易失性计算(软件和硬件)
先进的功率管理方法
内存计算
可重构计算
在非传统结构上计算,例如,交叉点。
新型架构模型
激发新型异构架构的性能,并让它们与冯·诺依曼机器进行比较测试
模型性能:证明模型在足够广泛的不同类型的负载下的性能
与硬件性能相比,验证模型的结果:验证模型与现实应用 的相关性(主题的可交付性是系统硬件,而不仅仅是一个模拟器或者建模结果)
使用冯·诺依曼系统来集成和验证非传统计算,以支持逼真、复杂的工作流程
非传统计算方法的理论基础和支撑
提出的非传统计算方法应用的广泛程度
将它们集成在相关的负载和系统中
提出的非传统计算方法的弹性和可靠性
研究建议
算法和系统软件协同设计的可扩展、异构架构的新范式
非传统计算范式的硬件(包括新兴技术和架构)、算法以及软件的协同设计
结语
工业界视角以及科研指导
正如我们曾经在 2015 年 9 月的报告《Rebooting the IT Revolution》中所述,「通过自动制表技术,以及使用计算机处理和编程来得到企业或者个人生产力,如今的计算系统已经促生了巨大的经济和社会效益。未来新型的具有洞察力的计算机系统将会永久地改变人们与计算系统交互的方式,以帮助我们在扩展知识,并在巨量快速运动的数据中做出复杂的决策。这些未来的系统提供了很多可以改善我们额社会和日常生活的机会。然而, 为了应对数据日渐增多的世界中出现的各种挑战,需要做很多的研究。」
基于半导体技术的信息系统是实现这个社会的电子基础设施的核心。当我写下这段话的时候,对半导体技术的需求比 18 个月之前更加迫切。明天即将到来。我们需要「基于基础研究来建立一个创新计划,它可以创造一个全新的引擎来驱动下一代的人类体验、经济和社会的进步、安全以及可持续发展。」
读者福利:即日起至 GMIS 2017 大会当天,读者在机器之心公众号头条文章下留言,机器之心会在次日选出最专业或最有见解的一条评论赠送 GMIS 2017 双日票一张!
查看全部嘉宾阵容并报名参与机器之心 GMIS 2017,请「点击这里」。