首先是ISSCC 2018文章列表链接:
http://submissions.mirasmart.com/ISSCC2018/PDF/ISSCC2018AdvanceProgram.pdf
然后进入正题:
再见吧!冯诺伊曼
——机器学习的存储器之路
大概ISSCC 2018的目录,扫过各个Session的名字,你会看到一个从来没有出现的Session,叫做 Computation in Memory for Machine Learning,应用于机器学习的计算存储器。
简直是一种豁然开朗,或者是恍如隔世的感觉。那么多年,我们纠结在计算机体系结构,纠结在冯诺伊曼架构下的处理器与存储器访问带宽的限制,是不是在这个session 就“强撸”灰飞烟灭了?并行计算再也不用依靠处理器了,存储器包揽一切问题。
该Session的存储器实现包含了两种策略,(1)是基于SRAM的计算存储器,对应了 CNN,甚至是在线训练的实现。(其中31.2 的作者在ESSCIRC 2017上发表了前期的研究成果,基于SRAM的放电原理,实现随机森林算法,有兴趣的读者可以自行搜索。);(2)是基于新材料的ReRAM的存储器。ReRAM电阻型存储器是目前最接近量产的忆阻器(Memristor)实现方式。
精度限制了我的想象力
—— BNN离现实还有多远?
相较于ISSCC 2017,今年的一个重要变化就是50%以上的芯片都支持,甚至专门优化,低进制的神经网络,特别是二进制的神经网络设计(Binary Neural Network)。相关论文包括
由于极简单的计算电路,和低带宽的要求,BNN网络能达到的能效值非常高至少有50TOPS/W,传言在13.5一文中达到了100TOPS/W的数量级,可是说是蔚为壮观。可是,在现实应用中有多少应用可以接受BNN,这可能就不是一个电路设计者能够回答的问题。但随着近来在算法领域的突破,越来越多的BNN正在走向应用,前途不可限量。
其实我相信13.2的作者或许比我们有更清楚的答案,来自北海道大学的Motomura教授组曾在VLSI 2017上发表过BNN的实现,又在ISSCC 2018上发表了基于Log的量化的通用实现。两相比较或许更能说明问题。不过还是要拜拜这篇文章,7.5TOPS实在高山仰止。
从你的全世界路过
—— 模拟电路不再是旁观者
除了两个以Machine learning命名的session外,还有不少其他设计中也或多或少的集成了机器学习的实现,而这些设计,都是并不是纯粹的数字集成电路,比如:
ISSCC 2014 ISSCC 2015都有基于Current Steering/Cap Arrary的设计,今年的Time domain也是可以关注的方向。
另外,对与许多实际的应用而言,集成在前端的Always-on Detector的细分应用是应该和完成的AI算法分离的,比如智能音箱中的Wake-up word detection (唤醒检测),安防应用中的有效区域识别等,它处于对于整个神经网络SoC进行开关的位置,或许低功耗的模拟新思路比具有精度保证的AI 处理器更适合。21.2 / 13.5 就是很好的例子。
最后,不要忘了老大处理器Intel的IoT智能处理与安全应用大作——
Self power ? Mote Feature ? 虽然小编从题目开始就只能表示一脸蒙圈。