在此番讲解中，王林认为，“随着技术推动力——摩尔定律，受到越来越大的挑战，而应用的最大推动力——智能手机，也遇到了非常大的增长瓶颈”，全球半导体行业已经进入后摩尔时代与后智能手机时代。他判断，在后摩尔+后智能手机时代，神经网络/深度学习已经成为半导体的新战场。
在行业应用层面，深度学习在快速变革传统行业并带来非常多新的应用，比如无人驾驶、医疗影像分析、工业自动化，FinTech。尤其是汽车，已经变成非常巨大的半导体应用平台。“全球所有顶尖的半导体公司都在围绕汽车来做未来的产品规划，希望其能够成为智能手机之后，对全球半导体行业有巨大推动力的推手。”而在处理器或架构层面，围绕深度学习训练与推理二个维度的加速需求，尤其是云端训练与推理、以及终端推理，出现非常多的芯片层面实现加速的创新方法或技术。结合有代表性的AI加速芯片产品或案例，就其中存在的创业机会与投资机会，他进行了深入的介绍和分析。
全文共计7980字，预计阅读需要10分钟。以下是此次讲解的提纲：
1、集成电路发展历史回顾；
2、后摩尔/后智能手机时代集成电路发展瓶颈；
3、深度学习带来的应用变革与技术驱动力；
4、深度学习加速芯片实现路径与关键技术；
5、深度学习加速芯片现状。
主讲实录
王林：大家晚上好，我是华登国际的王林，很高兴今天晚上有机会在智东西公开课的AI芯片社群跟大家做一些交流。其实今天晚上的演讲压力还是很大的，因为我看到群里有很多我的老朋友，都是芯片或者AI领域的高手。
平时演讲我都是尽量在懂芯片的人面前讲AI，在懂AI的人面前讲芯片，但是今天就没办法这么做了，因为群里有很多芯片和AI领域的高手。我尽我所能，如果有说的不对或者不太好的地方，还请大家多多包涵，主要是能有这样一个跟大家交流的机会确实非常难得。
今天来讲AI加速芯片还是一个挺应景的事情，因为昨天深鉴科技宣布被Xilinx全资收购。这也是我们能够看到近期少有的中国高科技公司被美国半导体公司并购的案例，以前我们更熟悉的是听到中国资本去海外并购一些科技公司或者半导体公司。深鉴科技在这方面做了一个很好的范例。从另一方面也说明我们中国的AI芯片在全球也处于比较领先的地位，当然也证明了AI芯片方面的创业还是挺有前（钱）景的。
讲到半导体，不得不从摩尔定律说起。我相信群里半导体从业人员对摩尔定律已经非常熟悉了，从Intel创始人戈登·摩尔提出摩尔定律到现在已经53年了。过去的53年中，半导体行业一直受着摩尔定律的指导。芯片越做越小，单位面积的晶体管越来越多，功耗越来越低，价格越来越便宜，也使得这个行业过去五十多年来一直保持不错的增长趋势。
从右边这张表可以看到2016年全球半导体的增长率也就7%，很多时候半导体的增长率可能只有2%-3%。但是，很奇怪的是2017年全球半导体有了一个跳跃式增长，达到20%。这是过去十年来半导体行业从来没有看到过的事情，大家都瞠目结舌。所以，大家是否也有这样一个疑问：为什么2017年的增长这么大？
还有一个比较值得关注的点，欧美的半导体行业已经持续呈衰退状态，但是2017年，其增长甚至比中国还要高，尽管中国一直维持着半导体高速增长的趋势。从全球来看，中国市场仍然是增长最显著的动力源，也是一个非常耀眼的明星。
其实半导体的增长和集成电路芯片的应用息息相关。不得不说过去十年半导体的增长，一定依赖于智能手机行业的爆发式增长。可以说，到目前为止可能全球有一半的芯片是为了智能手机生产和使用的。所以说，智能手机一定是过去十年集成电路行业发展非常大的推动力。
同时，从技术角度来看，摩尔定律近期也受到了非常大的挑战。虽然我仍然坚信摩尔定律至少在近些年会持续演进下去，但是不得不说，随着工艺节点的越来越小，也会带来成本的显著性提高。我相信，未来7nm、5nm、3nm量产的日子一定会到来，但是也许到了那天可以用上或者说用得起那么先进工艺的芯片公司也寥寥可数。业界目前有这样一个共识：28nm应该会是一个长期存在的工艺节点，其性能、成本是一个比较合理的均衡状态。
当然，我们不能不承认，敢从事半导体方面的人员一定是非常值得尊敬的，都是敢啃硬骨头的。从我发的这张图可以看到，其实工业界已经在尝试用多种方法尽量去使摩尔定律能够更长期的延续下去，或者能够以更低的成本延续下去，包括大家所知道的FinFET、FD SOI，都是业界正在推动的一些主流技术路线。EUV光刻技术，三维封装等都是能够使摩尔定律长期维持下去的一个非常有效的手段。
其实戈登·摩尔在五十三年前已经说了“集成电路会带来家用电脑或者至少是和中央电脑所连接的终端设备、自动驾驶、个人便携通讯设备等”。看到这里，我们就应该清楚戈登·摩尔在五十三年前所做的预言，到今天为止已经基本上都实现了。也就是说，其实戈登·摩尔已经看到了集成电路的发展会带来非常多的新应用，而这些新应用反过来会成为集成电路发展的巨大推动力。
说到这里，让我们来看，在后智能手机时代，什么才是集成电路行业的最大推动力呢？
很明显，到现在为止，大家耳熟能详的从“互联网+”到“AI+”可以看到深度学习的出现，给非常多的传统行业带来翻天覆地的变革机会，甚至带来一些新的应用。我觉得，这是深度学习所带给我们的广阔天地。大家比较熟悉的AlphaGo下围棋，包括戈登·摩尔所说的无人驾驶汽车，其背后不得不说是深度学习的出现才带来了这样巨大的、有前景的应用。当然，还有医疗影像分析，GE、飞利浦、西门子这三家巨头在他们最新的医疗影像设备上，其实已经集成了非常强大的人工智能算法来辅助医疗影像科的医生去更快更好更准确的做诊断；工业自动化领域，半导体生产制造、封装测试领域带有机器视觉功能的机器已经非常多了，当然还有FinTech。深度学习给各行各业带来的变革已经非常明显。
上面这张图展示的是四代AlphaGo所使用的硬件平台。第一代AlphaGo Fan是跑在176个GPU上，打败李世石的第二代AlphaGo Lee当时是跑在48个第一代Google TPU上，打败柯洁的第三代AlphaGo Master跑在4个Google第二代TPU上，包括前不久出现的使用对抗神经网络等算法的AlphaGo Zero仍然是跑在4个TPU上。
不得不说，欧美的半导体厂家在服务器、工业、汽车领域仍然拥有很强大的不可撼动的优势和地位。如果说这三大领域得到了非常快速的应用增长和半导体芯片需求的增长，那么首先得益的肯定是欧美半导体公司。这也是为什么欧美的半导体公司在2017年能够有这么耀眼的成绩。
正如戈登·摩尔所说，集成电路的发展带来了无人驾驶汽车，在这里也要感谢深度学习算法的出现，毫无疑问汽车已经变成了一个非常巨大的半导体应用平台。可以说全球所有顶尖的半导体公司都在围绕着汽车来做未来的产品规划，希望其能够成为智能手机之后，对全球半导体行业有巨大推动力的推手。当然这个行业也在经历着巨大的变化，就是要实现汽车行业的四个现代化：新能源化、智能化、共享化、互联网化。
从智能化的角度来说，没有深度学习的出现，智能化的到来将是遥不可及的事情。但也正是因为智能化的出现，给了汽车非常多的卖点，使得消费者愿意去选择更智能、更具有吸引力的汽车，也使得汽车行业的增长带来了集成电路行业这样一个巨大的应用平台。
前面讲了一些应用以及半导体行业的一些发展趋势，我觉得现在有必要再和大家探讨一下，深度学习到底给我们带来了什么？带给半导体行业的创新点到底是什么？因为我是学工科出身的，其实对于学工科的学生来说，一开始接触到深度学习会带来一个非常大的思维障碍。因为对于我们来说，以前学习的理论或者定理，总是要知道来龙去脉，不仅要知其然，还要知其所以然。但是对于深度学习来说，其实我们很难把他搞得这么清楚。
打一个不恰当的比方，深度学习更像中医，可能更多的是凭经验或者感觉，其实很多时候对我们来说深度学习就像一个黑盒子或者灰盒子的状态，我们没办法也没能力去把这么庞大的神经网络里面的运算规律搞清楚。
但是不管怎样，深度学习带给我们的结果大家是看得到的，深度学习我们使用的时候需要做训练，然后反过来需要推理，这样的过程我们已经做得非常熟了，所以在以后工程化应用过程中，已经没有理论上的一些障碍了。
那么深度学习要选择处理平台或者什么样的架构来做运算呢？其实很自然的一个想法就是，既然神经网络是从人脑来仿真和模拟出来的，那么我们是不是应该有一个类脑运算平台或者类脑芯片呢？其实业界也有非常多的公司在做这方面的探索。
因为负责这款芯片开发的教授正好是我浙大的师兄，所以看到这个新闻之后，我也跟他做了一些沟通，就是基于SNN的类脑架构在理论水平和芯片水平上到底是什么层次？可以看到趋势还是很明显的，至少在工程上已经得到了实现的可能性验证，他们在OCR的识别上应该有达到70-80%的准确度。但是，很遗憾的是SNN一直没有非常合适运算平台，造成SNN从理论、算法的基础研究上是严重滞后于深度学习的科研水平。
不管怎样，我认为类脑芯片还是非常值得我们关注的一个未来趋势。但是，短期来看还是基于深度学习算法和运算平台更值得工业界去关注和探索。
这里我们不得不提到另外一个人——冯·诺依曼。他在1946年提出的冯诺依曼架构一直指导着我们计算体系架构的发展。绝大多数的体系架构创新都是基于冯诺依曼架构的，都没有超出他的框架范围。冯诺依曼提出所有的计算机的都由存储、控制、逻辑运算、输入和输出五部分组成。
大家都在说深度学习三要素：算法、算力和数据，从某种程度上跟我之前总结出来的交互、计算和存储三大计算机体系组成是一一对应、息息相关的。后面我也会从算力和存储的方向，阐述下我个人认为创新的点和需要攻克的难点到底在哪里。
深度学习到目前为止可以说是兵家必争之地，包括我们现在看到深鉴科技被Xilinx收购。其实国内还有很多企业在做深度学习加速的研究。国际上，高通投资了商汤，Intel投资了地平线，华为海思的麒麟970里面集成的深度学习加速IP来自北京的寒武纪科技。其实可以看到，不管是创业公司还是国际上的大公司，深度学习都受到非常多的关注。
虽然都是深度学习的加速，但是在不同的应用领域，我们还是要分别来对待。包括深度学习的训练和推理，芯片的应用场景，比如云端和我们所谓的终端，我认为在不同的芯片里面，对于加速的要求还是不太一样的。
对于终端的训练来说，我还没有看到太多的机会或者应用场景，包括从功耗的角度是否存在这样的可能性，也值得大家去探讨和思考。
但是在云端训练的角度来看，GPU是占有绝对优势的，当然FPGA的加速卡、包括Google在做的TPU用来做训练的ASIC也都在显示自己的威力；我觉得终端inference，会是一个更加广阔的应用场景。对于终端来说，从功耗、成本的角度来考虑，ASIC是更加值得大家去关注的一个趋势。
脉动阵列并不是一个新鲜的词汇，在计算机体系架构里面已经存在很长时间。大家可以回忆下冯诺依曼架构，很多时候数据一定是存储在memory里面的，当要运算的时候需要从memory里面传输到Buffer或者Cache里面去。当我们使用computing的功能来运算的时候，往往computing消耗的时间并不是瓶颈，更多的瓶颈在于memory的存和取。所以脉动阵列的逻辑也很简单，既然memory读取一次需要消耗更多的时间，脉动阵列尽力在一次memory读取的过程中可以运行更多的计算，来平衡存储和计算之间的时间消耗。
上面这张图非常直观的从一维数据流展示了脉动阵列的简单逻辑。当然，对于CNN等神经网络来说，很多时候是二维的矩阵。所以，脉动阵列从一维到二维也能够非常契合CNN的矩阵乘加的架构。
需要特别提出的是，大家从图中可以看到，深度学习神经网络包括卷积层和全连接层两大块，剪枝对全连接层的压缩效率是最大的。下面柱状图的蓝色部分就是压缩之后的系数占比，从中可以看到剪枝对全连接层的压缩是最大的，而对卷积层的压缩效果相比全连接层则差了很多。
所以这也是为什么，在语音的加速上很容易用到剪枝的一些方案，但是在机器视觉等需要大量卷积层的应用中剪枝效果并不理想。我相信这也是未来很好的创业和搞科研的方向。
对于整个Deep Learning网络来说，每个权重系数是不是一定要浮点的，定点是否就能满足？定点是不是一定要32位的？很多人提出8位甚至1位的定点系数也能达到很不错的效果，这样的话从系数压缩来看就会有非常大的效果。从下面三张人脸识别的红点和绿点的对比，就可以看到其实8位定点系数在很多情况下已经非常适用了，和32位定点系数相比并没有太大的变化。所以，从这个角度来说，权重系数的压缩也会带来网络模型的压缩，从而带来计算的加速。
当然，一个不能回避的问题是计算和存储之间的存储墙到现在为止依然存在，仍然有大量的时间消耗在和存储相关的操作上。
一个很简单直观的技术解决方式，就是堆叠更多更快速更高效的存储，HBM孕育而生，也即在运算芯片的周围堆叠出大量的3D Memory，通过通孔来连接，不需要与片外的接口进行交互，从而大大降低存储墙的限制。
更有甚者提出说，存储一定要和计算分离吗，存储和运算是不是可以融合在一起，PIM(Processing in Memory)的概念应运而生。我觉得，这也是一个非常值得大家去关注的领域。我知道，群里有些朋友也在PIM领域做一些创业的尝试。
第一个是Google的TPU。从右边的芯片框图可以看到，有一个64K的乘加MAC阵列对乘加运算进行加速。从论文中可以看到里面已经用到了脉动阵列的架构方法来对运算进行加速，另外也有我们前面提到的大量的片上Memory 这样的路径。上面蓝色框图中大家可以看到有一个24MiB的片上Memory，而且有两个高速DDR3接口能够与片外的DDR做交互。
今天不光讲了创业的机会、投资的机会，我认为也正是因为中国有了现在非常好的产业政策，不管是人才还是市场，都是一个很好的创业土壤。我觉得AI加速方面创业和投资的机会依然存在，也希望和有志于在AI领域创业的朋友多多交流。谢谢大家，我的分享到这里就结束了。
第一讲，联发科计算与人工智能本部总监张家源主讲，主题为《如何基于 NeuroPilot平台打造手机AI》
第二讲，深思考人工智能CEO杨志明主讲，主题为《医疗影像专用AI处理器的机遇与挑战》
第三讲，触景无限CEO肖洪波主讲，主题为《玩转模块化AI 让智能更简单》
第四讲，灵汐科技首席架构师冯杰主讲，主题为《类脑芯片的架构演进》
第五讲，华登国际合伙人王林主讲，主题为《浅谈AI带来的集成电路领域创新与投资机会》
第六讲，澎峰科技联合创始人赵华龙主讲，主题为《如何从0到1搭建RISC-V处理器》
关注智东西公开课服务号（ID：zhidxclass ），回复关键词“AI芯片”获取课件。
本文由机器之心经授权转载自智东西公开课（ID：zhidxclass），未经授权禁止二次转载。
