datasheet

QbitAI量子位

文章数:720 被阅读:6622986

账号入驻

一文看尽深度学习这半年

2018-12-01
    阅读数:
原作:Ross Taylor
岳排槐 编译整理
量子位 出品 | 公众号 QbitAI

追踪深度学习这样一个大热领域的进展并不容易。

为了解决这个问题,年初我和Robert Stojnic搞了Papers With Code,这个网站把深度学习的研究论文和代码结合在一起。

这也能让我们有机会鸟瞰这个领域,包括研究趋势、热门框架以及哪些技术正受到青睐。这篇博文就用来分享这些。

以下的趋势总结,都来自于网站的数据。我们一起来总结下2018下半年的关键突破,以及深度学习社群的未来之路。

最热模型:BERT、vid2vid和graph_nets

Google AI十月发布的BERT论文,引发了深度学习界的强烈关注。这篇论文提出了一种深度双向Transformer模型。BERT刷新了11种NLP任务的最佳表现,包括斯坦福问答数据集(SQuAD)。

Google AI随后开源了这篇论文的代码,一个月的时间,BERT在GitHub上已经获得8000多次的标星,而且还在快速增加。

论文:
https://arxiv.org/abs/1810.04805

GitHub地址:
https://github.com/google-research/bert

英伟达的Video-to-Video(vid2vid)合成论文,介绍了一个效果惊人的生成模型,过去几年里这也是最受欢迎的深度学习领域之一。

这篇论文利用新颖的顺序生成器架构,以及一些诸如前景和背景先验(foreground-and-background priors)等设计特征,来修复时间不连贯的问题,进而提高性能。

英伟达也开源了代码,成为今年下半年第二大最受欢迎的实现。

论文:
https://arxiv.org/abs/1808.06601

GitHub地址:
https://github.com/NVIDIA/vid2vid

Google DeepMind关于图网络(graph_nets)的论文,在年中的时候获得了大量的关注。这个研究,为深度学习提供了一种数据结构化的新方向。这是今年下半年第三大最后欢迎的实现。

论文:
https://arxiv.org/abs/1806.01261v3

GitHub地址:
https://github.com/deepmind/graph_nets

最流行的项目:DeOldify、BERT和Fast R-CNN

DeOldify是一个使用GAN修复黑白老照片以及重新上色的项目。

这个项目在深度学习社群引发极大的兴趣,作者Jason Antic使用了SA-GANs、PG-GANs等完成了搭建。目前,这个项目在GitHub上超过4000标星。

GitHub地址:
https://github.com/jantic/DeOldify

BERT的PyTorch实现,也获得了广泛关注。

这个实现是韩国小哥Junseong Kim完成的,他表示代码很简单,而且也易于理解,其中一些代码基于The Annotated Transformer。目前这个项目在GitHub上获得1500多标星。

GitHub地址:
https://github.com/codertimo/BERT-pytorch

最后要介绍的,是Mask R-CNN的Keras/TensorFlow实现

这个项目的架构,基于一个Feature Pyramid Network和一个ResNet101 backbone。这个库可用于多种场景,例如3D场景重建、自动驾驶的目标检测等。目前这个项目在GitHub上标星超过8000。

GitHub地址:
https://github.com/matterport/Mask_RCNN

数说现状

NLP和GAN最热

查看Top50的实现,最热门的字段是生成模型和自然语言处理。

在生成模型中,GitHub上流行的实现包括:vid2vid,DeOldify,CycleGAN以及faceswaps。

在NLP领域,GitHub上流行的仓库包括:BERT,HanLP,jieba,AllenNLP以及fastText。

7篇新论文中,只有1篇附代码

每隔20分钟,就会出现一片新机器学习论文

自从7月以来,机器学习论文的月增长率一直在3.5%左右,年增长率约50%。这意味着每个月2200篇机器学习论文被发布,明年约有3万篇新机器学习论文会被发布。

这个速度比摩尔定律还快。

框架双寡头:TensorFlow和PyTorch

最后,如果你还没听说过Papers With Code,下面是传送门:

https://paperswithcode.com/

年度评选申请

加入社群

量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;


此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。


进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态




最新有关QbitAI的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved