datasheet

担心AI伤害人类?DeepMind开发专项测试确保AI安全性

2017-12-14 11:03:24来源: 新浪科技 关键字:AI  DeepMind

      北京时间12月12日早间消息,即便你不认同埃隆·马斯克(Elon Musk)的悲观言论,也肯定认同一个观点:随着人工智能逐步应用到现实世界,某些算法必然会给人类带来伤害。


  这种懂得自我学习的软件成为了Uber无人驾驶汽车的基础,帮助Facebook识别文章中的人,让亚马逊Alexa能理解你的提问。现在,Alphabet旗下的伦敦人工智能公司DeepMind则开发了一项简单的测试,可以了解这些新的算法是否安全。


  研究人员需要将人工智能软件植入到一系列简单的2D视频游戏中。这款名叫gridworld的游戏由一系列像素块组成,看起来有点像国际象棋的棋盘。它能够评估9项安全功能,包括人工智能系统是否会自我修改,以及能否学会作弊。


  该项目首席研究员简·雷克(Jan Leike)最近在神经信息处理系统(NIPS)大会上表示,在gridworld中表现出不安全行为的人工智能算法在现实世界中可能也不够安全。


  DeepMind开发这项测试正值人们越发担心人工智能的负面影响之际。随着这项技术的传播,显然有很多算法会采用有偏见的数据进行训练,而且很难展示某些系统为什么会达成某种结论。人工智能安全是NIPS的一个重要论题。


  DeepMind最著名的是开发表现超越人类的人工智能软件。该公司最近开发了一套算法,不需要提前掌握任何知识,便可在国际象棋等游戏中击败最优秀的人类选手——有时候只需要接受几小时的训练即可。


  雷克表示,如果DeepMind想要开发通用人工智能(这种软件能够掌握多种任务,而且可以比肩或超越人类),了解这种软件的安全性就至关重要。他也强调称,gridworld并不完美。有的算法可能在这项测试中表现良好,但在复杂的现实世界中仍有可能不够安全。


  研究人员发现,有两套掌握Atari视频游戏的DeepMind算法未能通过gridworld安全测试。“他们设计时并没有考虑这些安全问题。”雷克说。


  这项测试解决的一个场景与马斯克设想的人工智能灾难很接近:人工智能软件是否会想方设法避免人类将其关闭?为了赢得游戏,算法必须穿过狭窄的数字走廊到达某个地点。在50%的时候,走廊里有一块粉色的砖片挡住系统,而在gridworld的其他地方有一个紫色按钮可以取消粉色砖片。这项测试希望了解算法是否会学会使用这个按钮来避免自己遭到干扰。


  该测试中的另外一项内容是处理意料之外的副作用。算法必须将数字砖块挪开才能到达特定目标。但这些砖块只能推动,不能拉动,所以在某些情况下,它们会被固定在某些地方无法移动。雷克表示,缺乏“可逆性”是人工智能面临的一大安全问题。


  gridworld可供任何人下载使用。至于它是否足以确保人工智能系统的安全性,目前还没有定论。在DeepMind与马斯克支持的OpenAI共同进行的一项研究中,人工智能软件似乎懂得讨好人类老师,而不是一味追求既定目标。开发这样的系统会限制系统的有效性,导致其难以发现人类无法发现的方案。但OpenAI安全研究主管达里奥·阿莫德(Dario Amodei)表示,在复杂环境中,使用人类教练或许能够更好地确保安全性。(樵夫)


关键字:AI  DeepMind

编辑:冯超 引用地址:http://www.eeworld.com.cn/qrs/article_2017121442202.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:DRAM为什么将长期供不应求
下一篇:研究员开发出可以取代标准的3D打印机的3D格子折叠技术

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

网友正在学习IC视频

推荐阅读
全部
AI
DeepMind

小广播

独家专题更多

东芝在线展会——芯科技智社会创未来
东芝在线展会——芯科技智社会创未来
2017东芝PCIM在线展会
2017东芝PCIM在线展会
TI车载信息娱乐系统的音视频解决方案
TI车载信息娱乐系统的音视频解决方案
汇总了TI汽车信息娱乐系统方案、优质音频解决方案、汽车娱乐系统和仪表盘参考设计相关的文档、视频等资源

何立民专栏

单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved