datasheet

Facebook用AI“移花接木”,速抠动态人物造假视频

2019-04-20来源: 智东西关键字:FACEBOOK  AI

导语:近日,Facebook表示,他们研发了新的AI模型,能够将现实视频与游戏形象结合。

  智东西4月19日消息,近日Facebook发表了一篇关于从现实视频中提取角色的论文Vid2Game: Controllable Characters Extracted from Real-World Videos(Vid2Game:从真实世界视频中提取可控制的角色)。

  在这篇论文中,Facebook提出了一个新的AI模型,这个模型可以对原始视频中的动态的角色进行定位和提取,提取后的角色可被开发者控制,并且添加上任意背景即可生成新视频。

  一、AI如何将现实视频与游戏形象结合?

  这个团队的方法依赖于两个神经网络,或者说是模仿生物神经元的数学函数层: Pose2Pose,一个将当前姿态和单一实例控制信号映射到下一个姿态的框架;Pose2Frame,将当前姿态和新姿态(以及给定的背景)一起放在输出帧上。这些操作可以由任何“低维”信号控制,比如来自操纵杆或键盘的信号。研究人员表示,该系统足够强大,可以在动态背景中定位提取图像,并将现有背景进行任意的更换,融合成新的图像后生成视频输出。

  这种AI模型生成新的视频有两个具体步骤。首先,将包含一个或多个图像的输入视频输送到一个特定区域(如舞蹈)训练的Pose2Pose网络中,该网络将这些图像(加上预估的前景空间掩模)和它们的运动隔离开来,特定区域将作为它们质心的轨迹。(掩模用于确定哪些区域的背景被合成的图像信息所取代。)

  然后,使用这些和组合而成数据,Pose2Frame将场景中与角色相关的变化(如阴影、被持有的物品和反射)和与角色无关的变化分开,最终可以形成任何想要的背景与动作的混合视频输出。

  二、通过训练对比提取可控角色

  为了训练这个AI系统,研究人员采集了三个视频,每个视频长度在5到8分钟之间。这三个视频分别为:一个网球运动员在户外、一个人在室内挥舞着剑、一个人在走路。

  研究人员报告说,将这三个视频与传输舞者三分钟视频的神经网络模型相比,他们的方法成功地对动态元素进行了对比,如其他人和摄像机角度的差异,以及角色服装和摄像机角度的变化。

  研究人员在论文中写道:“每个网络都解决了之前未完全满足的计算问题,同时为生成具有逼真图形的视频游戏铺平了道路。此外,从类似YouTube的视频中提取的可控角色可以在虚拟世界和增强现实中找到自己的位置。”

  三、利用AI系统优化游戏成为热潮

  Facebook并不是唯一一家研究可能有助于游戏设计AI系统的公司。

  初创AI技术公司Promethean AI利用机器学习帮助人类艺术家为视频游戏创作艺术形象,利用自动化省去重复的建模工作。

  AI视觉计算公司Nvidia的研究人员最近有展示了一种可以使用视频片段创建虚拟环境的生成模型。

  机器学习也被用来优化复古游戏中的旧游戏纹理,如《最终幻想VII”和“塞尔达传说:暮光公主》,以及在游戏《毁灭战士》中从零开始生成数千个关卡。

  结语:AI技术成为行业新突破

  AI已经被越来越广泛的应用到了各个领域,各行业都在利用AI技术寻找新的突破口。

  在图像处理领域,AI图像技术正在帮助游戏行业优化或者开发更有趣的产品,并逐渐成为游戏行业竞争的又一个重要因素。


关键字:FACEBOOK  AI

编辑:鲁迪 引用地址:http://www.eeworld.com.cn/szds/ic459264.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:Facebook新获专利,实现精确手势追踪
下一篇:高色域显示设备漫谈,消费级三大校色仪横评

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

Facebook研发机器人以推动AI研究发展

Facebook正在研发机器人以推动AI研究发展。Facebook智能研究实验室的联合董事总经理Facebook的Antoine Bordes告诉彭博新闻,Facebook的实验涉及使用触觉来帮助机器人完成简单的任务。 这项研究范围很广,Facebook已经分享了三篇论文的细节。第一个是让一个六足机器人从试验和错误当中自我学习,吸取教训。第二个是利用“好奇心”来帮助机器人学得更快。第三个是使用触觉来帮助机器人实现简单滚球等任务。  这些研究和研发工作由Facebook的AI研究实验室(FAIR)负责进行。该公司首席人工智能科学家Yann LeCun告诉Bloomberg,FAIR有责任进行AI
发表于 2019-05-22
Facebook研发机器人以推动AI研究发展

特斯拉最大股东正大举减持其股份,较去年减少48.6%

流通股份的10.1%,去年12月底的持仓降至特斯拉流通股的5.2%。若按照纳斯达克提供的特斯拉流通股数1.72亿股计算,昔日的大股东目前仅持有特斯拉不足1%的股份。 不过,T. Rowe Price仍持有特斯拉181.2万份可转债,基本环比保持不变,价值186.6万美元。如果特斯拉股价达不到可转债的转股价格,特斯拉需用现金偿还这批债务。 华尔街见闻曾提到,前不久特斯拉刚刚用9.2亿美元现金偿还了一批到期不能转股的可转债。  相比之下,T. Rowe Price在一季度对社交巨头Facebook的增持幅度最大,截至3月31日持股1.08亿股,价值近180亿美元,较去年四季度末持股增加近20%,与去年
发表于 2019-05-20
特斯拉最大股东正大举减持其股份,较去年减少48.6%

谷歌对隐私问题下重手!能否避免Facebook重蹈覆辙

据CNBC报道,今年谷歌I/O开发者大会的主题演讲,隐私成了谷歌的主要关注点。      谷歌首席执行官SundarPichai 表示,“我们在隐私和安全方面的工作不会结束,我们一直在研究一系列可增强操作安全性的新功能。我们也希望做更多的工作,以满足不断变化的用户期望。”      为了解决最近一直炒的沸沸扬扬的隐私问题。会上,谷歌宣布了一些旨在帮助用户管理帐户及共享信息的新功能。      其中,点击个人资料图片可触发自动删除功能,这一功能将允许用户选择想要保存数据的时间。包括3到18个月不等的时间,或者也可选择立即手动删
发表于 2019-05-09

Facebook新专利提出模拟的触觉反馈解决方案

终极的虚拟现实是一种多感官体验,可以从多个维度模拟真实世界。除了视觉和听觉外,这同时包括嗅觉,味觉和触觉等等。现根据美国专利商标局日前公布的专利信息,正在大力研发虚拟现实的技术的Facebook把目光投向了一种特殊的触觉反馈:地面震感。在名为“Haptic Device For Artificial Reality Systems(用于人造现实系统的触觉设备)”的专利申请中,这家公司介绍了一种可以产生“震动波”的触觉反馈圆盘。Facebook认为,为了在延伸表面提供传递触觉反馈,传统的设置需要大量的分布式致动器。不仅如此,这个数字是与线性尺寸的平方成比例。他们进一步解释说:“研究证明,如果围绕细薄金属表面边缘分布一排或多排致动器
发表于 2019-04-29
Facebook新专利提出模拟的触觉反馈解决方案

继换脸之后,AI技术做的“造假”视频,让你无法分辨

。但 Facebook 的人觉得这种选路线播片的游戏方式实在太无聊了,为什么这种游戏就不能直接控制视频里的角色呢?于是, Facebook 里一个叫 AI 研究室的部门就开发了 Vid2Game 。有才的人就是不一样,游戏玩不爽还能自己做……哪像学霸君这种学渣,打王者荣耀输了还要怪队友菜。虽然我们很少听说 Facebook 的 AI 部门,但他们的实力一点也不弱。之前就跟华盛顿大学合作研发出 Photo Wake-up ,让画中人物走出来。这一次他们已经不满足于控制画里的人物,他们要控制视频里的人。例如在卡塔尔网球公开赛上的费德勒,费天王。本来这只是一个练球的视频,看起来没什么特别的。但经过 Vid2Game 的处理以后,费天王就变成
发表于 2019-04-26
继换脸之后,AI技术做的“造假”视频,让你无法分辨

Facebook研发新AI模型,动态人物视频也能造假

近日Facebook发表了一篇关于从现实视频中提取角色的论文Vid2Game: Controllable Characters Extracted from Real-World Videos(Vid2Game:从真实世界视频中提取可控制的角色)。在这篇论文中,Facebook提出了一个新的AI模型,这个模型可以对原始视频中的动态的角色进行定位和提取,提取后的角色可被开发者控制,并且添加上任意背景即可生成新视频。一、AI如何将现实视频与游戏形象结合?这个团队的方法依赖于两个神经网络,或者说是模仿生物神经元的数学函数层: Pose2Pose,一个将当前姿态和单一实例控制信号映射到下一个姿态的框架;Pose2Frame,将当前姿态
发表于 2019-04-22
Facebook研发新AI模型,动态人物视频也能造假

小广播

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 电视相关 白色家电 数字家庭 PC互联网 数码影像 维修拆解 综合资讯 其他技术 技术产品 应用设计 论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2019 EEWORLD.com.cn, Inc. All rights reserved