随着人工智能的落地和大规模应用,AI芯片也成为了常见的芯片品类。AI芯片相比传统芯片来说,主要的竞争优势就在于高算力和高能效比。高算力是指能够比传统芯片更快地完成AI计算,而高能效比则是指能比传统芯片用更少的能量完成计算。
要理解内存墙,还需要从传统的冯诺伊曼架构说起。冯诺伊曼架构是计算机的经典体系结构,同时也是之前处理器芯片的主流架构。在冯诺伊曼架构中,计算与内存是分离的单元:计算单元根据从内存中读取数据,计算完成后存回内存。
![](https://image.jiqizhixin.com/uploads/editor/87d93d81-b6d2-407f-8958-4ce19d32f0fc/640.png)
存内计算:翻越内存墙
存内计算,顾名思义就是直接在存储内做计算。其具体实现方式有若干条技术路径。首先,最直接的就是在现有存储的基础上做一些电路上的改动。这类实现方法最简单,例如2018年MIT Chandrakasan研究组在ISSCC上发表的研究就是这类技术的例子。该研究中,存内计算的主要用途是加速卷积计算,而卷积计算从数学上可以展开成带权重的累加计算,或者说是多个数的加权平均。因此,存内计算的做法是把权重(1-bit)储存在SRAM中,输入数据经过DAC成为模拟信号,并根据SRAM中的对应权重相乘,然后在模拟域做平均,最后由ADC读出成为数字信号。这类存内计算往往只是修改现有存储的译码器/放大器模块,并不涉及存储器件的重新设计,优势是比较容易和现有工艺集成,但是缺点是能够带来的性能提升较为有限,尤其是基于SRAM的方案,一方面SRAM的集成度是有限的,另一方面单比特精度的权重也成为了其应用的限制。
![](https://image.jiqizhixin.com/uploads/editor/bcbff1bb-3479-4280-93dd-0b29a83937d4/640.png)
另一种存内计算的技术路线是通过引入新的存储器件来完成存内计算。如果说前一种存内计算的概念是“在SoC里引入特殊的SRAM并在SRAM附近高效完成计算”,那么这一种存内计算就是直接“在存储阵列内完成计算”了。这种基于新存储器件的存内计算往往要利用新存储器件的一些特征,并且在一块特殊的存储阵列内集成计算功能,在要做计算的时候主处理模块只需要给存储阵列发送输入数据,过若干时钟周期之后存储阵列会把计算好的结果返回给主处理模块。与传统的冯诺伊曼架构相比,传统冯诺伊曼架构中处理器芯片给内存发请求,并读回数据;而在这类存内计算芯片的计算范式中,主处理模块给存储阵列发送请求和输入数据,而存储阵列则直接返回计算结果,这样就省去了计算过程中主处理器和内存之间的大量数据搬运。通常来说,存内计算在处理人工智能相关任务的时候,会把神经网络权重存储在阵列中,而主处理模块直接给存储阵列发去神经网络的输入即可开始计算。
近年来,存内计算已经逐渐成为业界和学界公认的趋势。拿半导体集成电路领域的“奥林匹克”——ISSCC为例,从2018年开始ISSCC开始设立与存内计算相关的专门session并收录五篇相关论文,此后存内计算在ISSCC上的相关论文录用势头一直不减,到2020年的ISSCC与存内计算相关的论文数量上升到了七篇。除此之外,半导体器件领域的顶级会议IEDM今年也给了存内计算足够重视,有三个专门的session共二十多篇相关论文。有趣的是,ISSCC和IEDM上相关存内计算的论文正好对应了前文所说的存内计算的两种技术路线——ISSCC对应从电路侧做技术革新,而IEDM则主要对应器件方向的技术更新换代,通过引入新的存储器件并基于其新特性来开发高性能的存内计算。其中,IEDM中显示的范式转换更引人关注。今年,IEDM的一大看点就是对于摩尔定律到头之后下一步方向的预测,有一个专门的panel session更是直接以“摩尔定律已死,但是AI永生”为名字,可见业界对于后摩尔定律时代的发展,最看好的是基于AI的新器件。而在AI相关的新器件/新范式中,存内计算可谓是最有希望的一种,由此可见今年IEDM的关于后摩尔定律的主题和录用数十篇存内计算相关的论文之间存在着紧密的联系。
IEDM上的来自中国的论文可能成为解决存内计算瓶颈的关键
在今年的IEDM上,我们就看到了这样的技术突破。一家初创公司闪亿半导体,与浙江大学、北京大学、华虹宏力合作发表的论文《Programmable Linear RAM: A New Flash Memory-based Memristor for Artificial Synapses and Its Application to Speech Recognition System》恰恰解决了这个矛盾。该论文巧妙地利用晶体管在线性区的特性制备了新型存储器PLRAM,并成功地设计出了一款可以用在移动终端的超低功耗存内计算芯片,并实现了8-bit精度操作。
![](https://image.jiqizhixin.com/uploads/editor/ffcf1c35-951d-454c-9da7-30083c2ecdfc/640.png)
![](https://image.jiqizhixin.com/uploads/editor/e7ff42ea-d8ce-4835-9722-8bcab22c66f5/640.png)
该研究让我们看到了中国半导体行业的崛起,因为在IEDM这样强手如林的顶尖半导体器件会议上发表文章本身就是对相关技术的肯定。更可喜的是,该研究已经在闪亿进行商业化,我们认为闪亿拥有的技术首先能克服存内计算的计算精度和应用场景之间的矛盾,可以把存内计算低功耗的优势发挥到极致,而同时其高精度计算又保证了可以兼容大多数神经网络。同时,闪亿选择的IoT和可穿戴式市场也是一个正在蓬勃发展的市场,这些市场非常适合用全球领先的新技术去撬动新的应用,从而让存内计算真正落地走向千家万户。我们希望能看到更多像闪亿这样的高精尖半导体技术商业化的案例,而当市场上出现众多这样的充满活力的高新技术半导体公司时,中国半导体的春天也就到了。