datasheet

机器学习的发展历程及启示,你知道吗

2017-03-27 11:28:56来源: EEWORLD 关键字:深度学习  机器学习  人工智能

eeworld网消息:近年来,人工智能的强势崛起,特别是刚刚过去的AlphaGo和韩国九段棋手李世石的人机大战,让我们领略到了人工智能技术的巨大潜力。数据是载体,智能是目标,而机器学习是从数据通往智能的技术途径。因此,机器学习是数据科学的核心,是现代人工智能的本质。

通俗地说,机器学习就是从数据中挖掘出有价值的信息。数据本身是无意识的,它不能自动呈现出有用的信息。怎样才能找出有价值的东西呢?第一步要给数据一个抽象的表示;接着基于表示进行建模;然后估计模型的参数,也就是计算;为了应对大规模的数据所带来的问题,我们还需要设计一些高效的实现手段,包括硬件层面和算法层面。统计是建模的主要工具和途径,而模型求解大多被定义为一个优化问题,特别是,频率派方法其实就是一个优化问题。而贝叶斯模型的计算则往往牵涉蒙特卡洛(Monte Carlo)随机抽样方法。因此,机器学习是计算机科学和统计学的交叉学科。

借鉴计算机视觉理论创始人马尔(Marr)的关于计算机视觉的三级论定义,我把机器学习也分为三个层次:初级、中级和高级。初级阶段是数据获取以及特征的提取。中级阶段是数据处理与分析,它又包含三个方面:首先是应用问题导向,简单地说,它主要应用已有的模型和方法解决一些实际问题,我们可以理解为数据挖掘;其次,根据应用问题的需要,提出和发展模型、方法和算法以及研究支撑它们的数学原理或理论基础等,这是机器学习学科的核心内容;第三,通过推理达到某种智能。高级阶段是智能与认知,即实现智能的目标。数据挖掘和机器学习本质上是一样的,其区别是数据挖掘更接近于数据端,而机器学习则更接近于智能端。

统计与计算

今年刚被选为美国科学院院士的卡内基梅隆大学统计系教授沃塞曼(Larry Wasserman)写了一本名字非常霸道的书:《统计学完全教程》(All of StaTIsTIcs)。这本书的引言部分有一个关于统计学与机器学习非常有趣的描述。沃塞曼认为,原来统计是在统计系,计算机是在计算机系,这两者是不相来往的,而且互相都不认同对方的价值。计算机学家认为那些统计理论没有用,不解决问题,而统计学家则认为计算机学家只是在“重新发明轮子”,没有新意。然而,他认为现在情况改变了,统计学家认识到计算机学家正在做出的贡献,而计算机学家也认识到统计的理论和方法论的普遍性意义。所以,沃塞曼写了这本书,可以说这是一本为统计学者写的计算机领域的书,为计算机学者写的统计领域的书。

现在大家达成了一个共识:如果你在用一个机器学习方法,而不懂其基础原理,这是一件非常可怕的事情。正是由于这个原因,目前学术界对深度学习还是心存疑虑的。尽管深度学习已经在实际应用中展示出其强大的能力,但其中的原理目前大家还不是太清楚。

计算机学家通常具有强大的计算能力和解决问题的直觉,而统计学家擅长于理论分析和问题建模,因此,两者具有很好的互补性。BoosTIng、支持向量机(SVM)、集成学习和稀疏学习是机器学习界也是统计界在近十年或者是近二十年来最为活跃的方向,这些成果是统计界和计算机科学界共同努力成就的。例如,数学家瓦普尼克(Vapnik) 等人早在20世纪60年代就提出了支持向量机的理论,但直到计算机界于90年代末发明了非常有效的求解算法,并随着后续大量优秀实现代码的开源,支持向量机现在成为了分类算法的一个基准模型。再比如,核主成分分析(Kernel Principal Component Analysis, KPCA)是由计算机学家提出的一个非线性降维方法,其实它等价于经典多维尺度分析(MulTI-Dimensional Scaling, MDS)。而后者在统计界是很早就存在的,但如果没有计算机界重新发现,有些好的东西可能就被埋没了。

世界上公认最好的两个统计系来自加州大学伯克利分校和斯坦福大学。加州大学伯克利分校是美国统计学的发源地之一,可以说是当今统计学和机器学习的中心,其机器学习领域的教授通常同时在计算机系和统计系都有正式职位。已故的布莱曼(Leo Breiman)教授是统计机器学习的主要奠基人,他是众多统计学习方法的主要贡献者,比如Bagging、分类回归树(CART)、随机森林以及非负garrote稀疏模型等。布莱曼是乔丹(Michael Jordan)教授的伯乐,当初是他力主把乔丹从麻省理工学院引进到伯克利分校的。可以说,伯克利分校的统计系成就了乔丹,反过来他也为伯克利分校的统计学发展创造了新的活力,为机器学习领域培养了一大批优秀的学者,建立了无可代替的功勋。

斯坦福大学统计系的一个主要方向就是统计学习,比如《统计学习基础》(Elements of statistical learning)一书就是统计系几位著名教授撰写的。斯坦福大学计算机科学系的人工智能方向一直在世界占主导地位,特别是在不确定推理、概率图模型、概率机器人等领域成就斐然。他们的网络公开课“机器学习”、“概率图模型”以及“人工智能”等让全世界学者受益。有意思的是,斯坦福大学和伯克利分校具有令人羡慕的合作竞争关系。一年一度的联合统计学日是两校统计系的交流平台。伯克利分校教授布莱曼和斯坦福大学教授弗莱德曼(Jerome Friedman)合作建立了许多重要统计学习模型。此外,两校教授罗素(Stuart Russell)和诺维格(Peter Norvig)合作的《人工智能:一种现代的方法》(Artificial Intelligence: A Modern Approach)一书是人工智能的集大成。

卡内基梅隆大学是一个非常独特的学校,它并不是美国传统的常春藤大学。可以说,它是以计算机科学为立校之本,是世界第一个建立机器学习系的学校。米歇尔(Tom Mitchell)教授是机器学习的早期建立者之一和守护者,他一直为该校本科生讲授“机器学习”课程。这个学校的统计学同样也是一流,是贝叶斯统计学的世界研究中心。

在机器学习领域,多伦多大学有着举足轻重的地位,它的机器学习研究组云集了一批世界级的学者,在《科学》(Science)和《自然》(Nature)发表多篇开创性的论文,实属罕见。辛顿(Geoffrey Hinton)教授是伟大的思想家,更是实践者。他是神经网络的建立者之一,是误差反向传播(BP)算法和深度学习的主要贡献者。正是由于他的不懈努力,神经网络迎来了大爆发。尼尔(Radford Neal)教授是辛顿的学生,他在贝叶斯统计领域,特别是在蒙特卡洛马尔科夫链模拟方法(MCMC)方面做出了一系列的重要工作,还开源了许多贝叶斯统计方法程序包,并一直致力于优化R语言。

机器学习的发展历程

对于20世纪90年代以前的发展历程,我认识不够,了解不深,觉得当时机器学习处于发展的相对平淡期。而20世纪90年代中期到21世纪00年代中期是机器学习发展的黄金时期,主要标志是学术界涌现出一批重要成果,比如,基于统计学习理论的支持向量机、随机森林和Boosting等集成分类方法,概率图模型,基于再生核理论的非线性数据分析与处理方法,非参数贝叶斯方法,基于正则化理论的稀疏学习模型及应用等等。这些成果奠定了统计学习的理论基础和框架。

然而,机器学习在21世纪00年代末也经历了一个短暂的徘徊期。那时我在加州大学伯克利分校的博士后工作结束,正面临找工作,导师乔丹教授和我进行了多次交流,他一方面认为机器学习正处于困难期,工作职位已趋于饱满,另一方面他向我一再强调,把统计学引入到机器学习的思路是对的,因为以统计学为基础的机器学习作为一个学科其地位已经被奠定。主要问题是机器学习是一门应用学科,它需要在工业界发挥作用,能为他们解决实际问题。幸运的是,这个时期很快就过去了。

现在我们可以理直气壮地说机器学习已经成为计算机科学和人工智能的主流学科。这主要体现在下面三个标志性的事件。

第一,2010年2月,加州大学伯克利分校教授乔丹和卡内基梅隆大学教授米歇尔同时当选美国工程院院士,同年5月份,乔丹教授又当选为美国科学院院士。随后几年,概率图模型专家科勒(Daphne Koller)当选为美国工程院院士,理论计算机学家和机器学习专家、Boosting的主要建立者之一夏皮尔(Robert Schapire)当选为美国工程院院士和科学院院士。期间,斯坦福大学的统计学家弗莱德曼和提布施瓦尼(Robert Tibshirani)、伯克利分校的华裔统计学家郁彬,以及卡内基梅隆大学统计学家沃塞曼也先后被选为美国科学院院士。这是一个非常有趣的现象,因为这些学者都在机器学习领域做出了非常重要的贡献,比如弗莱德曼的工作包括分类回归树、多元自适应回归(Multivariate Adaptive Regression Splines, MARS)和梯度推进机(Gradient Boosting Machines, GBM)等经典机器学习算法,而提布施瓦尼是最小绝对收缩和选择算子(Least Absol

[1] [2] [3]

关键字:深度学习  机器学习  人工智能

编辑:王磊 引用地址:http://www.eeworld.com.cn/afdz/article_2017032710374.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:巨头布局智能家居都离不开AI技术支撑
下一篇:大牛都说人工智能尚需时日 凌驾人类之上的担忧尚早

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

网友正在学习IC视频

推荐阅读
全部
深度学习
机器学习
人工智能

小广播

独家专题更多

东芝在线展会——芯科技智社会创未来
东芝在线展会——芯科技智社会创未来
2017东芝PCIM在线展会
2017东芝PCIM在线展会
TI车载信息娱乐系统的音视频解决方案
TI车载信息娱乐系统的音视频解决方案
汇总了TI汽车信息娱乐系统方案、优质音频解决方案、汽车娱乐系统和仪表盘参考设计相关的文档、视频等资源

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 视频监控 智能卡 防盗报警 智能管理 处理器 传感器 其他技术 综合资讯 安防论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved