datasheet

QbitAI量子位

文章数:704 被阅读:6522988

账号入驻

16篇论文、70多页PPT帮你优化深度学习模型,免费下载 | 资源

2018-12-15
    阅读数:
乾明 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

在没有改变计算复杂度的情况下,只是使用“调整学习率”和“修改特定卷积层的步幅大小”等方法,就将ResNet- 50在ImageNet上的top-1验证准确率从75.3%提高到79.29%。

这个成果来自于亚马逊近期发表的一篇论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》,作者为李沐带领的AWS研究团队。

论文摘要中表示,这篇论文的中的方法和结论也能适用于其他任务,比如目标检测、语义分割等等。

最近,Reddit机器学习版块有人发帖称,自己也整理了各种各样调整改善深度学习模型的方法,比亚马逊的论文中提到的方法还要多。

他将这些内容做成了PPT,一共70多页,涵盖了16篇经典论文和两篇博客文章。

目前,这个帖子在Reddit上的分数已经超过了150,GitHub上的Star也超过了400。

PPT里面讲的是啥?

这份PPT,主要有7个主题,分别是:

  • 调整学习率

  • 调整小批量的规模

  • 调整优化器和权值衰减

  • 调整特征和标签

  • 调整特征和标签(mixup)

  • 调整初始条件

  • Shake-shake正则化

每一个主题,都基于相对前沿以及效果较好的论文来进行分析。比如调整学习率这一主题,作者就选择了《Cyclical Learning Rates for Training Neural Networks》等3篇论文。

这篇论文最后的修订日期为2017年4月4日,这篇论文的主要就是从学习率的角度来谈怎么训练深度学习网络,并提出了一种名为循环学习率(cyclical learning rates)的新方法。

PPT中,作者对论文中的方法与思路进行了梳理,并给出了注释。

最后,作者也对亚马逊的论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》进行了梳理与总结。

写这份资源的是谁?

PPT上的信息显示,这个PPT的作者是Krzysztof Kolasiński,来自一家名为FORNAX.ai的公司。

Linkedin上的介绍称,Krzysztof Kolasiński是这家公司的机器学习工程师,波兰人。他是一位物理学博士,专门研究计算物理学中的量子传输问题。

传送门:

PPT传送门:

https://github.com/kmkolasinski/deep-learning-notes/blob/master/seminars/2018-12-Improving-DL-with-tricks/Improving_deep_learning_models_with_bag_of_tricks.pptx

在量子位公众号(QbitAI)对话界面回复“70页报告”,也可直接下载PPT~

活动报名

加入社群

量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;


此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。


进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态



最新有关QbitAI的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved