datasheet

QbitAI量子位

文章数:996 被阅读:9726388

账号入驻

脑补慢动作的AI源代码来了:有了它,普通视频也能平滑补帧

2018-12-28
    阅读数:
晓查 发自 凹非寺
量子位 出品 | 公众号 QbitAI

手机慢动作视频拍摄已经越来越普及,但网上大多数视频仍然是低帧率。如果我们自己能够自己动手,把球赛精彩瞬间转换成慢动作回放,那该有多好啊!

今年6月,英伟达 公布了一种算法Super SloMo,可以将普通30fps视频转化成240fps慢动作:

它衔接动作自然,拒绝出现慢放“PPT”,简直就是视频领域的“脑补大师”。就在大家都期盼公布代码的时候,英伟达却没有下文了。

虽然官方不做,却抵挡不住民间高手的智慧。时隔半年后,一名来自德克萨斯A&M大学的研究生用PyTorch实现了它,很快成为了reddit机器学习板块的热门。

脑补慢动作的算法

这套算法可以在两帧图像之间插入任意数量的图片,不仅能实现从30fps到240fps,甚至最高可以达到1000fps。

实际效果如何?请看它如何将汽车行驶的视频慢放8倍:


看到上面的对比,是不是也想试试?首先,你需要做以下一些准备:

因为模型训练和测试是在PyTorch 0.4.1CUDA 9.2上完成的,所以安装这两个软件必不可少,另外你还需要有一张NVIDIA的显卡。

模型无法直接使用视频训练,还需要安装ffmpeg从视频中提取帧。

一切准备工作完成后,就可以下载adobe240fps数据集进行训练了。

如果你是一个“伸手党”,还可以直接下载用adobe240fps训练好的模型。

网友望眼欲穿

在官方代码迟迟没有放出的情况下,有第三方程序员实现了它,这让网友们感到十分激动。大家似乎更关心模型的实际性能,不要渲染1秒钟,却用时1小时啊。

既然是英伟达的研究成果,已经有游戏玩家开始幻想未来的应用场景:我的王者荣耀岂不是直接从30fps跳到60fps?

愿望虽好,但关于Super SloMo的落地问题还有待进一步解答。

作者表示,未来将继续完善项目的细节信息,视频转换的程序脚本也在加紧制作中,让我们拭目以待吧。

传送门

项目地址:
https://github.com/avinashpaliwal/Super-SloMo/

训练数据集下载:
http://www.cs.ubc.ca/labs/imager/tr/2017/DeepVideoDeblurring/DeepVideoDeblurring_Dataset_Original_High_FPS_Videos.zip

训练完成模型下载:
https://drive.google.com/open?id=1IvobLDbRiBgZr3ryCRrWL8xDbMZ-KnpF

论文地址:
https://arxiv.org/pdf/1712.00080.pdf


年度评选报名

加入社群

量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;


此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。


进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !





最新有关QbitAI的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved