datasheet

如果摩尔定律不再适用,我们该如何前进

2018-11-15来源: StarryHeavensAbove 关键字:摩尔定律

摩尔定律已死”这样的说法我们已经听到很多,不管这么说是不是严谨,摩尔定律的延续非常非常困难是不争的事实。更重要的问题是,在这个背景下,我们该怎么做?这个问题已经有很多讨论,我也有自己的一些思考。正好今天看到黄老板在SC18讲演中的这幅图,正好可以把我的一些想法串起来,不妨和大家分享一下。

 


在朋友圈写了下面一段话,可以作为一个摘要:

以前,在摩尔定理作用下,我们可以依赖半导体技术的发展“粗放经营”,很多优化的工作都停留在学术圈。现在失去了这个“红利”,我们必须“精耕细作”:找到合适的架构,合适的方法,合适的精度,进行全栈优化。而这些“细活”都需要更多的时间和精力,能否实现依赖于提高生产效率(productivity)的工具。


首先是找到合适的架构,这个在我的公众号文章里已经讨论的太多了。CPU,GPU,DSP,ASIP,ASIC,FPGA,CGRA等等,我们有各种选择,永远是trade-off。在之前摩尔定律可以给我们10x的性能提升的预期下,对于很多应用来说,不需进行太多权衡。现在,如果我们还想要更强的算力,则必须把目光放到其它选择上,更多的使用专用的架构,构成更高效的异构系统。我们已经看到很多这方面的讨论和各种创新(或者“复古”),就不多说了。

 

找到合适的方法是个有趣也更大的话题,多说几句。在HPC的背景下,这部分主要是在讲仿真和AI的结合。我们知道,HPC的很多典型应用都是大规模的数值仿真,比如天气建模和预测,分子动力学,天体运动等等。而这些工作,需要大量的运算资源,消耗大量时间。过去,随着半导体技术的进步,过一段时间我们就自然能有性能大幅提升的系统,可以运行越大越大的模型。但是,现在这个预期越来越难实现。那么,针对这些应用,是否可以找到更高效的硬件架构呢?如果不改进传统的算法,这条路也很困难。在这个背景的下,AI方法似乎又成了“救世主”。现在很多研究是在传统的数值仿真中使用机器学习的方法,或者把仿真和机器学习相结合。具体来说,可以先用传统的仿真方法来训练神经网络模型,然后使用这个神经网络模型的inference结果来代替数值计算,对特定问题的结果进行预测。训练这个神经网络虽然仍然需要大量运算,但inference的成本则非常低。另一方面,神经网络的运算可以很好的使用专用硬件来加速,这就更进一步提升了整体的效率。其实这个思路适用于HPC之外的领域。一般的说,当我们无法直接找到一个合适的硬件架构来加速特定算法的时候,我们该思考的是能否找到对硬件更友好的算法。我之前谈过5G的基带处理用AI方法实现的问题(AI芯片在5G中的机会),也可能有类似的收益。当然,无线通信基带处理已经是高度优化的系统,AI方法要击败传统方法难度要大得多。比如,在基带处理中一般都对比特精度做过非常细致的优化。这就引出下一个问题,选择合适的精度。

 

对于实现成本和运算效率来说,减少比特精度的收益是很大的(下图之前贴过)。


source: Graphcore



从目前的实践来看,AI算法和传统HPC算法相比,对精度的要求低得多。因此我们看到很多AI芯片主要强调在FP16或者INT8中的精度。可以说,对目前AI芯硬件效率的提升,低比特精度有很大贡献。在HPC领域,如果结合上面讨论的用神经网络模型替代传统算法的方法,这部分优化的空间也很大。再对比一下通信基带处理,我们通常为了能够减少一个比特而做大量的优化和验证。在一个接收机中,不同的算法模块采用不同的比特是很常见的。当然这种优化有一个前提,就是算法必须定型。在目前AI算法还在不断优化的过程当中,同时支持多种精度的硬件就是目前更为合理的选择。

 

下一个话题是全栈优化,我之前也讨论过。毕竟,如果可能,谁不想实现全栈优化呢?现在,这个话题被越来越多的提及,除了对计算效能的需求越来越高,通过单纯优化软件或者硬件都难以满足这个原因之外,另一个重要原因是,在特定领域,比如AI,确实有实现的可能。全栈优化的难度在于探索空间太大,我们不得不分而治之。而对AI来说,目前基于神经网络的方法有个很好的特征,就是可以用比较规则的硬件进行加速,大大缩小了硬件优化的空间。当然,即便是在特定领域,全栈优化也还是个难题,也许最终还是要靠AI来解决,但我们总算有信心往前趟趟路。

 

总得来说,上述这些方向大多还是老生常谈,在过去的几十年有各种各有的研究和实验。但很多相关的工作停留在了学术圈或者研究阶段,而没有大规模的应用。原因主要在下面几个方面:第一是在驱动力方面,或者没有足够的收益,不能提供支持商用的投入产出比;或者没有足够的竞争压力。第二是技术上确实很难实现,比如全栈优化的问题。还有一种情况,我们有一定的驱动力,也知道怎么去做,但就是没办法高效的去做。换句话说,即生产率(productivity)太低导致成本太高。如果阻碍我们前进的关键问题为此,那么最可能的结果是新工具或新的方法学的出现。各个AI Framework对ML/DL快速发展起到的关键作用就是很好的佐证。其实,黄老板在后面也着重讲了这个问题,赞扬了开源领域的各种工具,当然重点还是CUDA和RAPIDS。要应对AI领域给我们带来的各种新挑战,发明新工具或者改造老工具的需求将会非常旺盛。另一方面,不断强化的AI本身在工具中的应用也会越来越普遍,AutoML就是很好的例子。最终也许会真的实现AI设计AI,AI设计计算机。甚至,也许真的像阿西莫夫的科幻小说所描述的,星际旅行的飞船并不是由人类发明,而是由人类设计的AI(金头脑)所发明。

 

写到这里,发现题目起的有点大,上面讲的只是几个点而已。不过,如果我们仔细观察,这些点都是相互关联的,结合在一起又可能形成新的机会,这才是最有趣的地方。毕竟,现在是黄金时代嘛。

 


关键字:摩尔定律

编辑:muyan 引用地址:http://www.eeworld.com.cn/manufacture/2018/ic-news111527212.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:“芯动北京”中关村IC产业论坛再度来袭
下一篇:英特尔宣布追加150亿美元的股票回购项目

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

摩尔定律放缓,eFPGA技术迎来了最好的发展时机

自摩尔定律被提出到现在,它已经伴随着半导体产业走过了半个多世纪,这个规律揭示了信息技术进步的神速,它让人们相信,IC制程技术是可以呈现直线式的发展,通过先进的工艺能让IC产品持续地降低成本,同时提升产品性能。但在今年,这样的想法或许被打破,业界对摩尔定律的怀疑声连绵不断,先是格芯宣布放弃7nm FinFET项目,随后英特尔延缓7nm工艺的研究进程等等,这些动作凸显了企业对行业新的看法。未来几年,摩尔定律是否会真的消失?它是否会改变如今的产业格局?这个不好说,但是放缓的节奏是不可否认的,摩尔定律的变化,给半导体产业带来了很多的不确定性,这也给eFPGA带来了发展机遇。(图片来源于Achronix公司)eFPGA迎来了发展良机对于业界
发表于 2018-12-01
摩尔定律放缓,eFPGA技术迎来了最好的发展时机

摩尔定律未终结,台积电将持续投入挺进3nm以服务更IC公司

集微网消息,中国集成电路设计业2018 年会暨珠海集成电路产业创新发展高峰论坛今日在珠海举行。会议上台积电副总经理陈平谈到了AI和5G的出现,将极大地促进新时代的产品创新,也给IC行业带来了更多的机会。一直以来,驱动整个半导体产业成长的引擎在不断地更替变化。从最早的大型计算机开始,到后来的个人电脑、移动电子设备,再到如今的普及运算,而AI和5G的出现更是将极大地促进新时代的产品创新。陈平指出,从2010年到2020年,预估数据通信量的复合年均增长率将超过50%。陈平表示,产品的创新离不开工艺技术的演进,无论是智能手机、高性能计算机、自动驾驶汽车和物联网产品,都需要各种各样且越来越先进的工艺技术加持。而提到半导体行业的工艺,谈及最多的
发表于 2018-11-29
摩尔定律未终结,台积电将持续投入挺进3nm以服务更IC公司

新技术不断问世,摩尔定律能否得到延续

半导体技术蓬勃发展,即将面临积体电路微缩化的三奈米制程极限,因此科学家除改善积体电路中电晶体的基本架构外,亦积极寻找具有优异物理特性且能微缩至原子尺度(<1 奈米)的电晶体材料。 台湾团队:单原子层厚度的二极管 台湾成大物理系吴忠霖教授与同步辐射研究中心陈家浩博士所组成的国内研究团队,在全球众多竞争团队中脱颖而出,成功地研发出仅有单原子层厚度(0.7奈米)且具优异的逻辑开关特性的二硒化钨(WSe2)二极管,并在「自然通讯Nature Communications」杂志上发表研究成果。 此二维单原子层二极管的诞生,更加轻薄,效率更高,除了可超越『摩尔定律』进行后硅时代电子元件的开发,以追求元件成本
发表于 2018-11-26

激烈的技术竞争,将促使摩尔定律继续前进

摩尔定律描述的现象,对现代世界产生的影响可以说超过其他任何现象。过去40年里,计算能力呈指数级提升,以各种方式改变了我们的生活,造就了从万维网、智能手机到物联网(Internet of Things)的各种各样的奇迹。但是,即便摩尔定律还没有失效,它的“效力”也在迅速消减。目前尚未得到回答的一个大问题是,这在多大程度上重要?在1965年的一篇文章中,未来的英特尔(Intel)创始人戈登•摩尔(Gordon Moore)解释了集成电路的元件数量每年翻一番的速度。1975年,他将这一周期修正为两年,他的预测(后来被认可为一项“定律”)从那时起基本上一直是成立的。指数级变化的影响往往很难理解。在实用意义上,计算性能的提高使得芯片变得更小
发表于 2018-11-19
激烈的技术竞争,将促使摩尔定律继续前进

后摩尔定律时代,硅光子、量子计算等技术或成为7nm之后的

        集微网消息,工研院今(13)日指出,全球半导体制造业版图正开始发生新一波变动,随著7nm制程将在近年逐步投入量产,7nm之后解决方案的讨论,开始浮上台面。        根据工研院IEKConsulting预测,2019年后beyond Moore’s law(后摩尔定律时代)的创新技术兴起,将成为半导体产业热烈探讨的重要课题,硅光子、量子电脑芯片更将是未来2020~2030年半导体技术演进的重要推手。        工研院指出,硅光子技术可整合现有CMOS制程,成为业界颇受瞩目的研究方向
发表于 2018-11-13

小广播

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 市场动态 半导体生产 材料技术 封装测试 工艺设备 光伏产业 平板显示 电子设计 电子制造 视频教程

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved
pt type="text/javascript" src="//v3.jiathis.com/code/jia.js?uid=2113614" charset="utf-8">