未来的人工智能,最热门的技术趋势是什么?

2015-12-24 19:33:58编辑:鲁迪 关键字:人工智能  神经网络
    随着Google、Microsoft和Facebook等巨头的大力投入,深度学习正在超越机器学习,人工智能来势凶猛。那么,如今人工智能最热门的技术趋势是什么?

  黑匣认为,复杂神经网络、LSTMs(长短期记忆网络)、注意力模型(Attention Models)等十大趋势将塑造人工智能未来的技术格局。

  上述判断来自NIPS(神经信息处理系统) 2015大会。NIPS始于1987年,是人工智能领域两大重要学习会议之一,由于AI的爆炸式发展,近年来逐渐成为许多硅谷公司必须参加的年度会议。

  在蒙特利尔召开的NIPS 2015吸引了众多AI学界与业界的顶级专家,与会人数接近4000。大会总共收录了403篇论文,其中深度学习课题约占11%。来自Dropbox的高级软件工程师Brad Neuberg分享了他所注意到的十大技术趋势,黑匣将对每种趋势做了详细分析。

  1、神经网络的架构正变得越来越复杂

  感知和翻译等大多数神经网络的架构正变得越来越复杂,远非此前简单的前馈神经网络或卷积神经网络所能比。特别需要注意的是,神经网络正与不同的技术(如LSTMs、卷积、自定义目标函数等)相混合。

  神经网络是多数深度学习项目的根基。深度学习基于人脑结构,一层层互相连接的人工模拟神经元模仿大脑的行为,处理视觉和语言等复杂问题。这些人工神经网络可以收集信息,也可以对其做出反应。它们能对事物的外形和声音做出解释,还可以自行学习与工作。

(人工模拟神经元试图模仿大脑行为 | 图片来源:Frontiers)

  但这一切都需要极高的计算能力。早在 80 年代初期,Geoffrey Hinton和他的同事们就开始研究深度学习。然而彼时电脑还不够快,不足以处理有关神经网络的这些庞大的数据。当时AI研究的普遍方向也与他们相反,人们都在寻找捷径,直接模拟出行为而不是模仿大脑的运作。

  随着计算能力的提升和算法的改进,今天,神经网络和深度学习已经成为人工智能领域最具吸引力的流派。这些神经网络还在变得更复杂,当年“谷歌大脑”团队最开始尝试“无监督学习”时,就动用了1.6万多台微处理器,创建了一个有数十亿连接的神经网络,在一项实验中观看了千万数量级的YouTube图像。

  2、酷的人都在用LSTMs

  当你阅读本文时,你是在理解前面词语的基础上来理解每个词语的。你的思想具有连续性,你不会丢弃已知信息而从头开始思考。传统神经网络的一大缺陷便是无法做到这一点,而递归神经网络(RNN)能够解决这一问题。

  RNN拥有循环结构,可以持续保存信息。过去几年里,RNN在语音识别和翻译等许多问题上取得了难以置信的成功,而成功的关键在于一种特殊的RNN——长短期记忆网络(LSTMs)。

  普通的RNN可以学会预测“the clouds are in the sky”中最后一个单词,但难以学会预测“I grew up in France… I speak fluent French.”中最后一个词。相关信息(clouds、France)和预测位置(sky、French)的间隔越大,神经网络就越加难以学习连接信息。这被称为是“长期依赖关系”问题。

(长期依赖问题 | 图片来源:CSDN)

  LSTMs被明确设计成能克服之一问题。LSTMs有四层神经网络层,它们以特殊的方式相互作用。这使得“能记住信息很长一段时间”可以被视作LSTMs的“固有行为”,它们不需要额外学习这一点。对于大多数任务,LSTMs已经取得了非常好的效果。

  3、是时候注意“注意力模型(attention models)了

  LSTMs是人们使用RNNs的一个飞跃。还有其他飞跃吗?研究者共同的想法是:“还有注意力(attention)!”

  “注意力”是指神经网络在执行任务时知道把焦点放在何处。我们可以让神经网络在每一步都从更大的信息集中挑选信息作为输入。

  例如,当神经网络为一张图片生成标题时,它可以挑选图像的关键部分作为输入。

(拥有“注意力”的RNN在图像识别中的成功运用 | 图片来源:Github)

  4、神经图灵机依然有趣,但还无法胜任实际工作

  当你翻译一句话时,并不会逐个词汇进行,而是会从句子的整体结构出发。机器难以做到这一点,这一挑战被称为“强耦合输出的整体估计”。NIPS上很多研究者展示了对跨时间、空间进行耦合输出的研究。

  神经图灵机(Neural Turing Machine)就是研究者们在硅片中重现人类大脑短期记忆的尝试。它的背后是一种特殊类型的神经网络,它们可以适应与外部存储器共同工作,这使得神经网络可以存储记忆,还能在此后检索记忆并执行一些有逻辑性的任务。

(模仿人类短期工作记忆的神经图灵机 | 图片来源:arXiv)

  2014年10月,Google DeepMind公布了一台原型电脑,它可以模仿一些人类大脑短期工作记忆的特性。但直到NIPS2015,所有的神经图灵机都过于复杂,并且只能解决一些“小玩具”问题。在未来它们或将得到极大改进。

  5、深度学习让计算机视觉和自然语言处理不再是孤岛

  卷积神经网络(CNN)最早出现在计算机视觉中,但现在许多自然语言处理(NLP)系统也会使用。LSTMs与递归神经网络深度学习最早出现在NLP中,但现在也被纳入计算机视觉神经网络。

  此外,计算机视觉与NLP的交汇仍然拥有无限前景。想象一下程序为美剧自动嵌入中文字幕的场景吧。

  6、符号微分式越来越重要

  随着神经网络架构及其目标函数变得日益复杂和自定义,手动推导出“反向传播”(back propagation)的梯度(gradients)也变得更加苦难而且容易出错。谷歌的TensorFlow等最新的工具包已经可以超负荷试验符号微分式,能够自动计算出正确的微分,以确保训练时误差梯度可被反向传播。

  7、神经网络模型压缩的惊人成果

  多个团队以不同方法大幅压缩了训练一个良好模型所需的素材体量,这些方法包括二值化、固定浮点数、迭代修剪和精细调优步骤等。

  这些技术潜在的应用前景广阔,可能将会适应在移动设备上进行复杂模型的训练。例如,不需要延迟就可以得到语音识别结果。此外,如果运算所需要的空间和时间极大降低,我们就可以极高帧率(如30 FPS)查询一个模型,这样,在移动设备上也可以运用复杂神经网络模型,从而近乎实时地完成计算机视觉任务。

  8、深度学习和强化学习继续交汇

  虽然NIPS 2015上没有什么强化学习(reinforcement learning)的重要成果,但“深度强化学习”研讨会还是展现了深度神经网络和强化学习相结合的前景。

  在“端对端”(end-to-end)机器人等领域出现了令人激动的进展,现在机器人已经可以一起运用深度和强化学习,从而将原始感官数据直接转化为实际动作驱动。我们正在超越“分类”等简单工作,尝试将“计划”与“行动”纳入方程。还有大量工作需要完成,但早期的工作已经使人感到兴奋。

  9、难道你还没有使用批标准化?

  批标准化(batch normalization)现在被视作评价一个神经网络工具包的部分标准,在NIPS 2015 上被不断提及。

  10、神经网络研究与优化齐头并进

  创造新的神经网络方法需要研究者,还需要能将它们迅速付诸实践的方法。谷歌的TensorFlow是少数能够做到这些的库:使用Python 或 C++等主流编程语言,研究者可以迅速创作新的网络拓扑图,接着在单一或多个设备(包括移动设备)上进行测试。

关键字:人工智能  神经网络

来源: 雷锋网 引用地址:http://www.eeworld.com.cn/afdz/article_9165.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:智能安防机器人iCamPRO:紧盯家中异常
下一篇:智能家居三大控制系统主要功能

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

AI赋能制造业 详解联想系人工智能领域投资策略

在人工智能项目国际交流研讨会上,联想控股旗下的两大投资机构——联想之星和君联资本分别分享了其在人工智能领域的投资策略。两家机构均植根于联想30余年来的创业经验和资源积累,区别在于联想之星是联想控股的早期投资和孵化板块,君联资本则重点投资于初创期和扩展期企业,同时兼顾种子期的项目。联想之星王明耀:从自发投资走向自觉投资截至2018年7月13号,联想之星刚好走过了整整十年。十年间,其投资重点专注于TMT、人工智能和医疗健康三大领域。在人工智能领域,联想之星的布局开始于2010年。从2010年到2012年期间,它投资了专注于虹膜识别的中科虹霸、人脸识别公司Face++等公司。这个阶段被联想之星总经理、主管合伙人王明耀称为“自发投资阶段
发表于 2018-07-23 19:01:40

定义智能家居新标准,人工智能与场景也该进来了

两种表述的语意,定义中描述的,以及我们通常所指的都是智能家居这一住宅环境,既包括单个住宅中的智能家居,也包括在房地产小区中实施的基于智能小区平台的智能家居项目,如深圳红树西岸智能家居。第二种语意是指智能家居系统产品,是由智能家居厂商生产、满足智能家居集成所需的主要功能的产品,这类产品应通过集成安装方式完成,因此完整的智能家居系统产品应是包括了硬件产品、软件产品、集成与安装服务、售后在内的一个完整服务过程。  9年多过去了,由于物联网、移动互联网、云计算、人工智能技术的快速发展,已经或正在极大地改变智能家居产业,因此,智能家居的定义需要进行适当修订,千家智客创始人向忠宏为此专门召集智能家居业界专家,包括中国室内装饰
发表于 2018-07-22 11:20:15
定义智能家居新标准,人工智能与场景也该进来了

人工智能会替代多少人力劳动?

一双眼睛的局部细节图出现在电脑屏幕上,小慧对着放大的眼睛,一步步地做好标记点。 一眼望过去,一排排的电脑屏幕上,都是类似的画面。也许是因为窗帘的遮光效果太好,略显昏暗的办公环境加上电脑屏幕上被放大的各种物体细节,颇为惊悚。 在某人工智能研究院看到这一幕,不觉惊叹即使是头部的AI创业公司,最关键的一环依然是从数据标注员开始的。 而这是一群被称作第一批被AI累死的人。 AI的老师:画框的这些人伴随着AI兴起的最关键的技术莫过于深度学习,作为深度学习的基础,神经网络是一种以输入为导向的算法,其结果的准确性取决于接近“无穷”量级的数据。 所以摒除那些复杂的中间环节,深度学习最关键的就是需要
发表于 2018-07-20 19:27:04

机器人进入安防市场,底气何在?

从1920年捷克作家雷尔·恰佩克的科幻小说《罗萨姆的机器人万能公司》中的"robot"一词开始,机器人就从单纯的文字变成了现实。 在现实生活中,以服务机器人为代表的机器人穿梭在人类世界的各个角落里,逐渐成为人类生活中不可缺少的部分。但也正因为诞生于科幻小说之中,人们对机器人一直充满着幻想,从工业机器人到扫地机器人,再到教育机器人和快递机器人,人类的双手正在扶持一个新行业的诞生——安防机器人。 从安防机器人谈起安防机器人又称安保机器人,是机器人行业的一个细分领域之一。 和其它服务机器人类似,安防机器人内置摄像头,GPS技术,机器视觉和语音交互等人工智能技术。但光从称呼出发,我们就能了解安防机器人
发表于 2018-07-20 19:25:44

AI不稳定,就业有风险,所以要招本科生?

上个礼拜,北京航空航天大学主办了国内首届人工智能本科专业研讨会。会上清华大学、南京大学、西安交通大学等国内26所大学共同发布了《关于设置人工智能专业建议书》,呼吁尽快设置本科人工智能专业。 毫无疑问,这个高考季当中,人工智能已经成为了一个热门话题。伴随着知名高校的呼吁,我们还可以看到各个名牌大学的人工智能学院、人工智能研究院如雨后春笋一样成长起来。中国科学院、南京大学、清华大学,都已经在一年内成立了类似研究机构。 而政策层面,国家《新一代人工智能发展规划》中也明确提出要建设人工智能学科。人工智能要发展,需要人才和学术建设应该是毫无争议的问题。  但关于人工智能是不是要在今天就成为本科专业
发表于 2018-07-20 19:22:43
AI不稳定,就业有风险,所以要招本科生?

人工智能会导致经济危机?

理论上来说,人工智能的普及,会带给整个人类社会极大的冲击,包括但不限于会有大量人失业,并由此引发经济危机。 伴随着人类社会的不断发展,人类社会面临的挑战从怎样克服物资不足,正逐渐转变成如何合理分配我们生产出来丰富物资。如果人类可以处理好这个问题,那么人类就有可能进入共产主义社会,整个社会按需分配,人们不再需要争夺资源,因为资源过剩。但是,如果人工智能被别有用心的人利用,整个人类社会陷入一场浩劫,一场巨大的动荡也不是不可能。 但是不管人类最后怎么处理人工智能带来的生产力飞跃,现有的经济运行模式一定会出问题。在人工智能普及的过程中,或者初步完成普及之后必然会出现一个极其容易出现经济危机的阶段——生产过剩/产能过剩
发表于 2018-07-20 19:22:09

小广播

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 视频监控 智能卡 防盗报警 智能管理 处理器 传感器 其他技术 综合资讯 安防论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved