datasheet

未来的人工智能,最热门的技术趋势是什么?

2015-12-24来源: 雷锋网关键字:人工智能  神经网络
    随着Google、Microsoft和Facebook等巨头的大力投入,深度学习正在超越机器学习,人工智能来势凶猛。那么,如今人工智能最热门的技术趋势是什么?

  黑匣认为,复杂神经网络、LSTMs(长短期记忆网络)、注意力模型(Attention Models)等十大趋势将塑造人工智能未来的技术格局。

  上述判断来自NIPS(神经信息处理系统) 2015大会。NIPS始于1987年,是人工智能领域两大重要学习会议之一,由于AI的爆炸式发展,近年来逐渐成为许多硅谷公司必须参加的年度会议。

  在蒙特利尔召开的NIPS 2015吸引了众多AI学界与业界的顶级专家,与会人数接近4000。大会总共收录了403篇论文,其中深度学习课题约占11%。来自Dropbox的高级软件工程师Brad Neuberg分享了他所注意到的十大技术趋势,黑匣将对每种趋势做了详细分析。

  1、神经网络的架构正变得越来越复杂

  感知和翻译等大多数神经网络的架构正变得越来越复杂,远非此前简单的前馈神经网络或卷积神经网络所能比。特别需要注意的是,神经网络正与不同的技术(如LSTMs、卷积、自定义目标函数等)相混合。

  神经网络是多数深度学习项目的根基。深度学习基于人脑结构,一层层互相连接的人工模拟神经元模仿大脑的行为,处理视觉和语言等复杂问题。这些人工神经网络可以收集信息,也可以对其做出反应。它们能对事物的外形和声音做出解释,还可以自行学习与工作。

(人工模拟神经元试图模仿大脑行为 | 图片来源:Frontiers)

  但这一切都需要极高的计算能力。早在 80 年代初期,Geoffrey Hinton和他的同事们就开始研究深度学习。然而彼时电脑还不够快,不足以处理有关神经网络的这些庞大的数据。当时AI研究的普遍方向也与他们相反,人们都在寻找捷径,直接模拟出行为而不是模仿大脑的运作。

  随着计算能力的提升和算法的改进,今天,神经网络和深度学习已经成为人工智能领域最具吸引力的流派。这些神经网络还在变得更复杂,当年“谷歌大脑”团队最开始尝试“无监督学习”时,就动用了1.6万多台微处理器,创建了一个有数十亿连接的神经网络,在一项实验中观看了千万数量级的YouTube图像。

  2、酷的人都在用LSTMs

  当你阅读本文时,你是在理解前面词语的基础上来理解每个词语的。你的思想具有连续性,你不会丢弃已知信息而从头开始思考。传统神经网络的一大缺陷便是无法做到这一点,而递归神经网络(RNN)能够解决这一问题。

  RNN拥有循环结构,可以持续保存信息。过去几年里,RNN在语音识别和翻译等许多问题上取得了难以置信的成功,而成功的关键在于一种特殊的RNN——长短期记忆网络(LSTMs)。

  普通的RNN可以学会预测“the clouds are in the sky”中最后一个单词,但难以学会预测“I grew up in France… I speak fluent French.”中最后一个词。相关信息(clouds、France)和预测位置(sky、French)的间隔越大,神经网络就越加难以学习连接信息。这被称为是“长期依赖关系”问题。

(长期依赖问题 | 图片来源:CSDN)

  LSTMs被明确设计成能克服之一问题。LSTMs有四层神经网络层,它们以特殊的方式相互作用。这使得“能记住信息很长一段时间”可以被视作LSTMs的“固有行为”,它们不需要额外学习这一点。对于大多数任务,LSTMs已经取得了非常好的效果。

  3、是时候注意“注意力模型(attention models)了

  LSTMs是人们使用RNNs的一个飞跃。还有其他飞跃吗?研究者共同的想法是:“还有注意力(attention)!”

  “注意力”是指神经网络在执行任务时知道把焦点放在何处。我们可以让神经网络在每一步都从更大的信息集中挑选信息作为输入。

  例如,当神经网络为一张图片生成标题时,它可以挑选图像的关键部分作为输入。

(拥有“注意力”的RNN在图像识别中的成功运用 | 图片来源:Github)

  4、神经图灵机依然有趣,但还无法胜任实际工作

  当你翻译一句话时,并不会逐个词汇进行,而是会从句子的整体结构出发。机器难以做到这一点,这一挑战被称为“强耦合输出的整体估计”。NIPS上很多研究者展示了对跨时间、空间进行耦合输出的研究。

  神经图灵机(Neural Turing Machine)就是研究者们在硅片中重现人类大脑短期记忆的尝试。它的背后是一种特殊类型的神经网络,它们可以适应与外部存储器共同工作,这使得神经网络可以存储记忆,还能在此后检索记忆并执行一些有逻辑性的任务。

(模仿人类短期工作记忆的神经图灵机 | 图片来源:arXiv)

  2014年10月,Google DeepMind公布了一台原型电脑,它可以模仿一些人类大脑短期工作记忆的特性。但直到NIPS2015,所有的神经图灵机都过于复杂,并且只能解决一些“小玩具”问题。在未来它们或将得到极大改进。

  5、深度学习让计算机视觉和自然语言处理不再是孤岛

  卷积神经网络(CNN)最早出现在计算机视觉中,但现在许多自然语言处理(NLP)系统也会使用。LSTMs与递归神经网络深度学习最早出现在NLP中,但现在也被纳入计算机视觉神经网络。

  此外,计算机视觉与NLP的交汇仍然拥有无限前景。想象一下程序为美剧自动嵌入中文字幕的场景吧。

  6、符号微分式越来越重要

  随着神经网络架构及其目标函数变得日益复杂和自定义,手动推导出“反向传播”(back propagation)的梯度(gradients)也变得更加苦难而且容易出错。谷歌的TensorFlow等最新的工具包已经可以超负荷试验符号微分式,能够自动计算出正确的微分,以确保训练时误差梯度可被反向传播。

  7、神经网络模型压缩的惊人成果

  多个团队以不同方法大幅压缩了训练一个良好模型所需的素材体量,这些方法包括二值化、固定浮点数、迭代修剪和精细调优步骤等。

  这些技术潜在的应用前景广阔,可能将会适应在移动设备上进行复杂模型的训练。例如,不需要延迟就可以得到语音识别结果。此外,如果运算所需要的空间和时间极大降低,我们就可以极高帧率(如30 FPS)查询一个模型,这样,在移动设备上也可以运用复杂神经网络模型,从而近乎实时地完成计算机视觉任务。

  8、深度学习和强化学习继续交汇

  虽然NIPS 2015上没有什么强化学习(reinforcement learning)的重要成果,但“深度强化学习”研讨会还是展现了深度神经网络和强化学习相结合的前景。

  在“端对端”(end-to-end)机器人等领域出现了令人激动的进展,现在机器人已经可以一起运用深度和强化学习,从而将原始感官数据直接转化为实际动作驱动。我们正在超越“分类”等简单工作,尝试将“计划”与“行动”纳入方程。还有大量工作需要完成,但早期的工作已经使人感到兴奋。

  9、难道你还没有使用批标准化?

  批标准化(batch normalization)现在被视作评价一个神经网络工具包的部分标准,在NIPS 2015 上被不断提及。

  10、神经网络研究与优化齐头并进

  创造新的神经网络方法需要研究者,还需要能将它们迅速付诸实践的方法。谷歌的TensorFlow是少数能够做到这些的库:使用Python 或 C++等主流编程语言,研究者可以迅速创作新的网络拓扑图,接着在单一或多个设备(包括移动设备)上进行测试。

关键字:人工智能  神经网络

编辑:鲁迪 引用地址:http://www.eeworld.com.cn/afdz/article_9165.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:智能安防机器人iCamPRO:紧盯家中异常
下一篇:智能家居三大控制系统主要功能

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

2225年 人类可以通过脑机永生?

2019年以来几部与人工智能有关的动画电影可谓火得不行,先是卡梅隆担任制片的《战斗天使:阿丽塔》,之后则是Netflix的自制系列动画《爱、死亡和机器人》,在这些影片中有项技术一直都在出现,那就是“脑机接口”。脑机接口,它是在人或动物脑(或者脑细胞的培养物)与外部设备间建立的直接连接通路,从而实现“大脑”与外部设备之间的交互,通俗点理解就是用意念控制设备。从银屏中走出的技术对脑机接口的研究可以追溯到20世纪70年代,不过让“脑机接口”被广泛认知,当属20年前的一部电影《黑客帝国》。黑客帝国所描述的正是一个在脑机接口下的世界,在当时的背景下其使用了各种超前的科技理念,加上复杂的内容设定,让很多看完一遍后依旧云里雾里。除了上面说到
发表于 2019-04-17

昆仑万维集团押注互联网3.0,大举进攻无人驾驶领域

昆仑万维集团董事长周亚辉在2019年年会上就曾表示,昆仑万维未来的重心将是投资互联网3.0时代,也就是物联网与人工智能的时代。AI技术将给各个行业赋能,未来几年将会爆发性成长,人工智能也将是昆仑万维在未来加大投资的重点领域。 昆仑万维投资版图再下一城。4月11日,昆仑万维公告称,公司全资子公司昆仑集团拟以自有资金5000万美元投资Pony AI,取得Pony融资后3%的股权。  Pony是一家注册地在开曼群岛的新创公司,成立时间为2016年11月份,主营业务为专注于L4级别无人驾驶技术的研发和车队运营。  昆仑万维称,公司投资Pony,前瞻性地布局无人驾驶市场,是投资人工智能领域的重要举措。  跨界造车?在国内,Pony
发表于 2019-04-16

戴上“白帽子” 人工智能投身网络安全攻防战

面对计算机系统和网络的缺陷和漏洞,黑客们找准机会实施攻击,白帽黑客则利用黑客技术来测试网络和系统的性能以判定它们能够承受入侵的强弱程度。短短几年时间,人工智能已进驻多个行业,落地无数场景。其中一些行业和场景已为大家所熟知,还有一些正在进入我们的视野,在网络安全领域,AI“白帽”正成为网络安全工程师的得力助手。据报道,近日美国市场调研公司CB Insights发布报告预测了2019年人工智能行业的发展趋势,其中一个趋势便是用人工智能发现网络威胁。正在赋能网络安全“人工智能技术的蓬勃发展,为网络安全攻防带来的,不仅有机遇,也有挑战。”北京理工大学网络攻防对抗技术研究所所长闫怀志接受科技日报记者采访时说。先说好的一面。360安全研究院邹
发表于 2019-04-15

识别黑色素瘤图片,德国人工智能算法胜过医生

德国研究人员最新开发出一种可用于诊断黑色素瘤的人工智能算法。在一场157名皮肤科医生与人工智能算法的诊断比拼中,人工智能的准确度总体来讲更胜一筹。德国国家肿瘤疾病中心等机构研究人员在新一期《欧洲癌症杂志》上发表研究报告说,他们开发出一种人工智能算法,可分析皮肤病变用于诊断。为验证该算法,他们让来自德国12所大学医院的157名皮肤科医生与人工智能展开一场诊断大比拼,内容是分析100张皮肤图片,判断图片所示是正常胎记还是一种皮肤癌——黑色素瘤。100张图片中有20张为确诊病人的黑色素瘤,另80张为良性的胎记。结果显示,157名医生中只有7人的判断比人工智能更准确,14人和人工智能准确度相当,136人没有人工智能准确。研究人员约亨·斯文
发表于 2019-04-15

具备灵活的认知环境的能力, 人工智能才称得上“厉害”

据科技日报报道,无论下棋还是玩电子游戏,人工智能的表现似乎都强于人类。然而,近日,英国研究人员认为,只有能够像鸡、老鼠等动物一样具备灵活的认知环境的能力,人工智能才称得上“厉害”。据新华社报道,研究人员因此举办“动物人工智能奥林匹克”竞赛,让各种人工智能设备在指定“赛场”内完成认知任务,例如,向人工智能展示某种食物并将食物挪走,看它能否重新找到食物。研究人员说,向鸡展示某种食物并当面将食物移走,鸡大概知道这种食物被拿到了哪里,并能够克服障碍重新找到食物。研究人员计划于4月底开放赛场,供参赛队伍训练其人工智能设备,6月开始正式竞技,让参赛人工智能设备解决一些动物日常遇到的小问题。取得优胜的参赛队伍将获得1万美元(约合6.7万元人
发表于 2019-04-15

亚马逊缔造商业帝国需要人工智能黑科技

据国外媒体报道,亚马逊打造的庞大商业帝国离不开其人工智能技术的帮助。其不起眼但功能强大的机器学习功能可以满足从物流中心、云服务以及无人商店。亚马逊的六页备忘录很有名。高管们必须每年写一份计划书,列出他们的商业计划。鲜为人知的是,这些备忘录总要回答一个特殊问题:你打算如何使用机器学习?亚马逊的高管们普遍表示,亚马逊并不鼓励作出像“不多”这样的回答。机器学习是人工智能的一种形式,其从数据中挖掘出可用于预测的有价值信息。当杰夫·威尔克(Jeff Wilke)于1999年加入亚马逊时,机器学习就在亚马逊扎根了。如今威尔克已经是杰夫o贝索斯(Jeff Bezos)的副手,他成立了一个科学家团队,研究亚马逊的内部流程,以提高效率。他将自
发表于 2019-04-15

小广播

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 视频监控 智能卡 防盗报警 智能管理 处理器 传感器 其他技术 综合资讯 安防论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2019 EEWORLD.com.cn, Inc. All rights reserved