datasheet

2017年AI大事件回顾,细数AI里程碑

2018-02-07 22:01:25来源: eefocus 关键字:人工智能  AlphaGo  Zero

人工智能最近三年发展如火如荼,学术界、工业界、投资界各方一起发力,硬件、算法与数据共同发展,不仅仅是大型互联网公司,包括大量创业公司以及传统行业的公司都开始涉足人工智能。2017年人工智能行业延续了2016年蓬勃发展的势头,那么在过去的一年里AI行业从技术发展角度有哪些重要进展?未来又有哪些发展趋势?本文从大家比较关注的若干领域作为代表,来归纳AI领域一些方向的重要技术进展。

 

AlphaGo Zero到Alpha Zero:迈向通用人工智能的关键一步

DeepMind携深度增强学习利器总是能够给人带来震撼性的技术创新,2016年横空出世的AlphaGo彻底粉碎了普遍存在的“围棋领域机器无法战败人类最强手”的执念,但是毕竟李世石还是赢了一局,不少人对于人类翻盘大逆转还是抱有希望,紧接着Master通过60连胜诸多顶尖围棋高手彻底浇灭了这种期待。2017年AlphaGo Zero作为AlphaGo二代做了进一步的技术升级,把AlphaGo一代虐得体无完肤,这时候人类已经没有资格上场对局了。2017年底AlphaGo的棋类游戏通用版本Alpha Zero问世,不仅仅围棋,对于国际象棋、日本将棋等其他棋类游戏,Alpha Zero也以压倒性优势战胜包括AlphaGo Zero在内的目前最强的AI程序。

 

图1 AlphaGo Zero的自我对弈及训练过程

 

AlphaGo Zero从技术手段上和AlphaGo相比并未有本质上的改进,主体仍然是MCST蒙特卡洛搜索树加神经网络的结构以及深度增强学习训练方法,但是技术实现上简单优雅很多(参考图1)。主要的改动包含两处:一处是将AlphaGo的两个预测网络(策略网络和价值网络)合并成一个网络,但是同时产生两类所需的输出;第二处是网络结构从CNN结构升级为ResNet。虽说如此,AlphaGo Zero给人带来的触动和启发丝毫不比AlphaGo少,主要原因是AlphaGo Zero完全放弃了从人类棋局来进行下棋经验的学习,直接从一张白纸开始通过自我对弈的方式进行学习,并仅仅通过三天的自我学习便获得了远超人类千年积累的围棋经验。

 

这引发了一个之前一般人很期待但是同时又认为很难完成的问题:机器能够不依赖有监督方式的训练数据或者极少的训练数据自我进化与学习吗?如果真的能够做到这一点,那么是否意味着机器会快速进化并淘汰人类?第二个问题甚至会引起部分人的恐慌。但是其实这个问题本身问的就有问题,因为它做了一个错误的假设:AlphaGo Zero是不需要训练数据的。首先,AlphaGo Zero确实做到了通过自我对弈的方式进行学习,但是仍然需要大量训练数据,无非这些训练数据是通过自我对弈来产生的。而且更根本的一点是应该意识到:对于AlphaGo Zero来说,其本质其实还是MCST蒙特卡洛树搜索。围棋之所以看着难度大难以克服,主要是搜索空间实在太大,单纯靠暴力搜索完全不可行。如果我们假设现在有个机器无限强大,能够快速遍历所有搜索空间,那么其实单纯使用MCST树搜索,不依靠机器学习,机器也能达到完美的博弈状态。AlphaGo Zero通过自我对弈以及深度增强学习主要达到了能够更好地评估棋盘状态和落子质量,优先选择走那些赢面大的博弈路径,这样能够舍弃大量的劣质路径,从而极大减少了需要搜索的空间,自我进化主要体现在评估棋面状态越来越准。而之所以能够通过自我对弈产生大量训练数据,是因为下棋是个规则定义很清晰的任务,到了一定状态就能够赢或者输,无非这种最终的赢或者输来得晚一些,不是每一步落子就能看到的,现实生活中的任务是很难达到这一点的,这是为何很多任务仍然需要人类提供大量训练数据的原因。如果从这个角度考虑,就不会错误地产生以上的疑虑。

 

Alpha Zero相对AlphaGo Zero则更进一步,将只能让机器下围棋拓展到能够进行规则定义清晰的更多棋类问题,使得这种技术往通用人工智能的路上迈出了重要一步。其技术手段和AlphaGo Zero基本是相同的,只是去除掉所有跟围棋有关的一些处理措施和技术手段,只告诉机器游戏规则是什么,然后使用MCST树搜索+深度神经网络并结合深度增强学习自我对弈的统一技术方案和训练手段解决一切棋类问题。

 

从AlphaGo的一步步进化策略可以看出,DeepMind正在考虑这套扩展技术方案的通用性,使得它能够使用一套技术解决更多问题,尤其是那些非游戏类的真实生活中有现实价值的问题。同时,AlphaGo系列技术也向机器学习从业人员展示了深度增强学习的强大威力,并进一步推动了相关的技术进步,目前也可以看到深度增强学习在更多领域应用的实例。

 

GAN:前景广阔,理论与应用极速发展中

GAN,全称为Generative Adversarial Nets,直译为“生成式对抗网络”。GAN作为生成模型的代表,自2014年被Ian Goodfellow提出后引起了业界的广泛关注并不断涌现出新的改进模型,深度学习泰斗之一的Yann LeCun高度评价GAN是机器学习界近十年来最有意思的想法。

 

Ian Goodfellow提出的最初的GAN尽管从理论上证明了生成器和判别器在多轮对抗学习后能够达到均衡态,使得生成器可以产生理想的图像结果。但是实际上,GAN始终存在训练难、稳定性差以及模型崩塌(Model Collapse)等问题。产生这种不匹配的根本原因其实还是对GAN背后产生作用的理论机制没有探索清楚。

 

过去的一年在如何增加GAN训练的稳定性及解决模型崩塌方面有了可喜的进展。GAN本质上是通过生成器和判别器进行对抗训练,逼迫生成器在不知晓某个数据集合真实分布Pdata的情形下,通过不断调整生成数据的分布Pθ去拟合逼近这个真实数据分布Pdata,所以计算当前训练过程中两个分布Pdata和Pθ的距离度量标准就很关键。Wasserstein GAN的作者敏锐地指出了:原始GAN在计算两个分布的距离时采用的是Jensen-Shannon Divergence(JSD),它本质上是KL Divergence(KLD)的一个变种。JSD或者KLD存在一个问题:当两个分布交集很少时或者在低维流形空间下,判别器很容易找到一个判别面将生成的数据和真实数据区分开,这样判别器就不能提供有效的梯度信息并反向传导给生成器,生成器就很难训练下去,因为缺乏来自判别器指导的优化目标。Wasserstein GAN提出了使用Earth-Mover距离来代替JSD标准,这很大程度上改进了GAN的训练稳定性。后续的Fisher GAN等模型又对Wasserstein GAN进行了进一步的改进,这些技术陆续改善了GAN的训练稳定性。模型崩塌也是严重制约GAN效果的问题,它指的是生成器在训练好之后,只能产生固定几个模式的图片,而真实的数据分布空间其实是很大的,但是模型崩塌到这个空间的若干个点上。最近一年针对这个问题也提出了比如标签平滑、Mini-Batch判别器等启发式方法来解决生成器模型崩塌的问题并取得了一定效果。

 

尽管在理论层面,针对GAN存在的问题,业界在2017年提出了不少改进方法,对于GAN的内在工作机制也有了更深入的了解,但是很明显目前仍然没有理解其本质工作机制,这块还需要未来更有洞察力的工作来增进我们对GAN的理解。

 

图2 使用CycleGAN将照片中的猫换成狗

 

GAN具备非常广泛的应用场景,比如图像风格转换、超分辨率图像构建、自动黑白图片上色、图片实体属性编辑(例如自动给人像增加胡子、切换头发颜色等属性变换),不同领域图片之间的转换(例如同一个场景春天的图片自动转换为秋天的图片,或者白天景色自动转换为夜间的景色),甚至是图像实体的动态替换,比如把一幅图片或者视频中出现的猫换成狗(参考图2)。

 

在推动GAN应用方面,2017年有两项技术是非常值得关注的。其中一个是CycleGAN,其本质是利用对偶学习并结合GAN机制来优化生成图片的效果的,采取类似思想的包括DualGAN以及DiscoGAN等,包括后续的很多改进模型例如StarGAN等。CycleGAN的重要性主要在于使得GAN系列的模型不再局限于监督学习,它引入了无监督学习的方式,只要准备两个不同领域的图片集合即可,不需要训练模型所需的两个领域的图片一一对应,这样极大扩展了它的使用范围并降低了应用的普及难度。另外一项值得关注的技术是英伟达采取“渐进式生成”技术路线的GAN方案,这项方案的引人之处在于使得计算机可以生成1024*1024大小的高清图片,它是目前无论图像清晰度还是图片生成质量都达到最好效果的技术,其生成的明星图片几乎可以达到以假乱真的效果(参考图3)。英伟达这项由粗到细,首先生成图像的模糊轮廓,再逐步添加细节的思想其实并非特别新颖的思路,在之前的StackGAN等很多方案都采用了类似思想,它的独特之处在于这种由粗到细的网络结构是动态生成的而非事先固定的静态网络,更关键的是产生的图片效果特别好。

 

图3 英伟达提出渐进生成式GAN产生的高清头像图片

 

总而言之,以GAN为代表的生成模型在2017年无论是理论基础还是应用实践都产生了很大的技术进展,可以预计的是它会以越来越快的速度获得研发人员的推动,并在不远的

[1] [2] [3]

关键字:人工智能  AlphaGo  Zero

编辑:什么鱼 引用地址:http://www.eeworld.com.cn/qrs/article_2018020744689.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:多方位布局工业互联网,阿里云力争国际话语权
下一篇:面对工业物联网的大趋势,小企业该何去何从?

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

网友正在学习IC视频

推荐阅读
全部
人工智能
AlphaGo
Zero

小广播

独家专题更多

东芝在线展会——芯科技智社会创未来
东芝在线展会——芯科技智社会创未来
2017东芝PCIM在线展会
2017东芝PCIM在线展会
TI车载信息娱乐系统的音视频解决方案
TI车载信息娱乐系统的音视频解决方案
汇总了TI汽车信息娱乐系统方案、优质音频解决方案、汽车娱乐系统和仪表盘参考设计相关的文档、视频等资源

何立民专栏

单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved