深度学习论文【awesome-deep-learning-papers】

 金诚   2018-09-28 14:09   221 人阅读  0 条评论

最多引用的深度学习论文

最受推崇的深度学习论文的精选清单(自2012年起)

我们相信存在经典的深度学习论文,无论其应用领域如何都值得阅读。而不是提供论文压倒性数量,我们想提供一个组织列表被视为真棒深学习论文的必备读取在某些研究领域。

背景

在此列表之前,还存在其他令人敬畏的深度学习列表,例如,Deep VisionAwesome Recurrent Neural Networks。此外,在此列表出来之后,深度学习初学者的另一个很棒的列表,称为深度学习论文阅读路线图,已经被许多深度学习研究人员所创造和喜爱。

虽然路线图列表包含许多重要的深度学习论文,但是对于我来说,阅读它们总是让我感到压力。正如我在介绍中所提到的,我相信开创性的作品可以为我们提供课程,无论其应用领域如何。因此,我想在这里介绍前100篇深度学习论文,作为深入学习深度学习的一个很好的起点。

要每天获取新发布的论文的新闻,请关注我的推特Facebook页面

令人敬畏的列表标准

  1. 建议列出2012年至2016年发布的100篇深度学习论文
  2. 如果将纸张添加到列表中,则应删除另一篇论文(通常来自2016年的“更多论文”部分)以保留前100篇论文。(因此,删除论文也是重要的贡献以及添加论文)
  3. 重要但未能列入列表的论文将列在“超过100强”部分中。
  4. 有关最近6个月或2012年之前发表的论文,请参阅新论文旧论文部分。

(引文标准)

  • <6个月新论文(通过讨论)
  • 2016年:+60引用或“2016年更多论文”
  • 2015年:+200引文
  • 2014年:+400引用
  • 2013年:+600引用
  • 2012年:+800引用
  • ~2012旧论文(通过讨论)

请注意,我们更喜欢开创性的深度学习论文,可以应用于各种研究而不是应用论文。出于这个原因,一些符合标准的论文可能不被接受而其他论文可能会被接受。这取决于论文的影响,适用于其他研究领域的研究稀缺性等。

我们需要您的贡献!

如果您有任何建议(缺少论文,新论文,主要研究人员或拼写错误),请随时编辑并提出请求。(请阅读贡献指南以获取进一步的说明,但只是让我知道论文的标题也可以对我们做出很大的贡献。)

(更新),您可以下载所有顶级的100多篇论文与并收集所有作者的姓名与。此外,所有前100名论文的bib文件都可用。谢谢,doodhwala,Svengrepinsight

  • 任何人都可以提供代码来获取前100篇论文作者的统计数据吗?

 


理解/概括/转移

  • 在神经网络中提炼知识(2015),G。Hinton等。[PDF]
  • 深度神经网络很容易被愚弄:对无法识别的图像的高置信度预测(2015),A。Nguyen等。[PDF]
  • 深度神经网络中的特征如何可转移?(2014),J。Yosinski等。[PDF]
  • 美国有线电视新闻网(CNN)展示了一种惊人的识别基准(2014年),A。Razavian等人。[PDF]
  • 使用卷积神经网络学习和转移中级图像表示(2014),M。Oquab等。[PDF]
  • 可视化和理解卷积网络(2014),M。Zeiler和R. Fergus [pdf]
  • Decaf:用于通用视觉识别的深度卷积激活功能(2014),J。Donahue等。[PDF]

优化/培训技术

  • 培训非常深入的网络(2015年),R。Srivastava等。[PDF]
  • 批量标准化:通过减少内部协变量转换加速深度网络培训(2015),S. Loffe和C. Szegedy [pdf]
  • 深入研究整流器:超越图像网络分类的人类表现(2015),K。He等。[PDF]
  • 辍学:一种防止神经网络过度拟合的简单方法(2014年),N。Srivastava等。[PDF]
  • Adam:一种随机优化方法(2014),D。Kingma和J. Ba [pdf]
  • 通过阻止特征检测器的共同适应来改善神经网络(2012),G。Hinton等。[PDF]
  • 随机搜索超参数优化(2012)J.Bergstra和Y.Bengio [pdf]

无监督/生成模型

  • 像素递归神经网络(2016),A。Oord等。[PDF]
  • 改进的GAN训练技术(2016),T。Salimans等。[PDF]
  • 使用深度卷积生成对抗网络的无监督表示学习(2015),A。Radford等。[PDF]
  • DRAW:用于图像生成的递归神经网络(2015),K。Gregor等。[PDF]
  • 生成性对抗网(2014年),I。Goodfellow等。[PDF]
  • 自编码变分贝叶斯(2013),D。Kingma和M. Welling [pdf]
  • 使用大规模无监督学习(2013年)建立高级特征,Q。Le等人。[PDF]

卷积神经网络模型

  • 重新思考计算机视觉的初始架构(2016),C。Szegedy等。[PDF]
  • 初始-v4,初始-resnet和剩余联系对学习的影响(2016),C。Szegedy等。[PDF]
  • 深度剩余网络中的身份映射(2016),K。He等。[PDF]
  • 用于图像识别的深度残差学习(2016),K。He等。[PDF]
  • 空间变压器网络(2015),M。Jaderberg等,[pdf]
  • 更深入地了解卷积(2015),C。Szegedy等。 [PDF]
  • 用于大规模图像识别的非常深的卷积网络(2014),K。Simonyan和A. Zisserman [pdf]
  • 细节中的魔鬼回归:深入研究卷积网(2014),K。Chatfield等。[PDF]
  • OverFeat:使用卷积网络进行综合识别,定位和检测(2013),P。Sermanet等。[PDF]
  • Maxout networks(2013),I。Goodfellow et al。[PDF]
  • 网络网络(2013),M。Lin等。[PDF]
  • 使用深度卷积神经网络的ImageNet分类(2012),A。Krizhevsky等。[PDF]

图像:分割/对象检测

  • 你只看一次:统一的实时物体检测(2016),J。Redmon等。[PDF]
  • 用于语义分割的完全卷积网络(2015),J。Long等。[PDF]
  • 更快的R-CNN:利用区域提案网络实现实时目标检测(2015),S。Ren等人。[PDF]
  • 快速R-CNN(2015),R。Girshick [pdf]
  • 丰富的特征层次结构,用于精确的对象检测和语义分割(2014),R。Girshick等。[PDF]
  • 用于视觉识别的深度卷积网络中的空间金字塔汇集(2014),K。He等。[PDF]
  • 利用深度卷积网和完全连接的CRF进行语义图像分割,L。Chen等。[PDF]
  • 学习场景标记的等级特征(2013),C。Farabet等。[PDF]

图像/视频/等

  • 使用深度卷积网络的图像超分辨率(2016),C。Dong等。[PDF]
  • 艺术风格的神经算法(2015),L。Gatys等。[PDF]
  • 用于生成图像描述的深度视觉语义对齐(2015),A。Karpathy和L. Fei-Fei [pdf]
  • 展示,参与和讲述:具有视觉关注的神经图像标题生成(2015),K。Xu等。[PDF]
  • 显示和讲述:神经图像标题生成器(2015),O。Vinyals等。[PDF]
  • 用于视觉识别和描述的长期复发卷积网络(2015),J。Donahue等。[PDF]
  • VQA:视觉问答(2015),S。Antol等。[PDF]
  • DeepFace:在面部验证(2014年)中缩小与人类绩效的差距,Y。Taigman等。[pdf]
  • 卷积神经网络的大规模视频分类(2014),A。Karpathy等。[PDF]
  • 用于视频中动作识别的双流卷积网络(2014),K。Simonyan等。[PDF]
  • 用于人类行为识别的3D卷积神经网络(2013),S。Ji等。[PDF]

自然语言处理/ RNN

  • 用于命名实体识别的神经架构(2016),G.Lample等。[PDF]
  • 探索语言建模的极限(2016),R。Jozefowicz等。[PDF]
  • 教学机器阅读和理解(2015),K。Hermann等。[PDF]
  • 基于注意力的神经机器翻译的有效方法(2015),M。Luong等。[PDF]
  • 条件随机场作为递归神经网络(2015),S。Zheng和S. Jayasumana。[PDF]
  • 内存网络(2014),J。Weston等。[PDF]
  • 神经图灵机(2014),A。Graves等。[PDF]
  • 神经机器翻译通过联合学习调整和翻译(2014),D。Bahdanau等。[PDF]
  • 用神经网络进行序列学习的序列(2014),I。Sutskever等。[PDF]
  • 学习使用RNN编码器 - 解码器进行统计机器翻译的短语表示(2014),K。Cho等。[PDF]
  • 用于建模句子的卷积神经网络(2014),N。Kalchbrenner等。[PDF]
  • 用于句子分类的卷积神经网络(2014),Y。Kim [pdf]
  • 手套:词汇表示的全球载体(2014),J。Pennington等。[PDF]
  • 句子和文件的分布式表示(2014年),Q。Le和T. Mikolov [pdf]
  • 单词和短语的分布式表示及其组成(2013),T。Mikolov等。[PDF]
  • 矢量空间中词表示的有效估计(2013),T。Mikolov等。 [PDF]
  • 在情感树库(2013),R。Socher等人的语义组合的递归深度模型[PDF]
  • 使用递归神经网络生成序列(2013),A。Graves。[PDF]

言语/其他领域

  • 基于端到端注意力的大词汇量语音识别(2016),D。Bahdanau等。[PDF]
  • 深度演讲2:英语和普通话的端到端语音识别(2015),D。Amodei等。[PDF]
  • 深度递归神经网络的语音识别(2013),A。Graves [pdf]
  • 用于语音识别中声学建模的深度神经网络:四个研究小组的共同观点(2012),G。Hinton等。[PDF]
  • 用于大词汇量语音识别的依赖于上下文的预训练深度神经网络(2012)G.Dahl等。[PDF]
  • 使用深度信念网络的声学建模(2012),A。Mohamed等。[PDF]

强化学习/机器人

  • 深度视觉运动政策的端到端培训(2016年),S。Levine等。[PDF]
  • 学习用于深度学习和大规模数据收集的机器人掌握的手眼协调(2016),S。Levine等。[PDF]
  • 深度强化学习的异步方法(2016),V。Mnih等。[PDF]
  • 双Q学习深度强化学习(2016),H。Hasselt等。[PDF]
  • 通过深度神经网络和树搜索掌握Go游戏(2016),D。Silver等。[PDF]
  • 连续控制与深度强化学习(2015),T。Lillicrap等。[PDF]
  • 通过深度强化学习进行人类控制(2015年),V。Mnih等。[PDF]
  • 用于检测机器人抓握的深度学习(2015),I。Lenz等。[PDF]
  • 使用深度强化学习(2013年)播放atari,V。Mnih等。[pdf]

2016年的更多论文

  • Layer Normalization(2016),J。Ba et al。[PDF]
  • 通过梯度下降学习学习梯度下降(2016),M。Andrychowicz等。[PDF]
  • 神经网络的域对抗训练(2016),Y。Ganin等。[PDF]
  • WaveNet:原始音频的生成模型(2016),A。Oord等。[pdf] [网页]
  • 彩色图像着色(2016),R。Zhang等。[PDF]
  • 自然图像流形上的生成性视觉操作(2016),J。Zhu等。[PDF]
  • 纹理网络:纹理和风格化图像的前馈合成(2016),D Ulyanov等。[PDF]
  • SSD:单发多箱检测器(2016),W。Liu等。[PDF]
  • SqueezeNet:AlexNet级精度,参数减少50倍,模型尺寸<1MB(2016),F。Iandola等。[PDF]
  • Eie:压缩深度神经网络上的高效推理引擎(2016),S。Han等。[PDF]
  • 二值化神经网络:训练深度神经网络,其权重和激活约束为+ 1或-1(2016),M。Courbariaux等。[PDF]
  • 用于视觉和文本问答的动态记忆网络(2016),C。Xiong等。[PDF]
  • 用于图像问答的堆叠注意网络(2016),Z。Yang等。[PDF]
  • 使用具有动态外部存储器的神经网络的混合计算(2016),A。Graves等。[PDF]
  • 谷歌的神经机器翻译系统:弥合人与机器翻译之间的差距(2016),Y。Wu等。[PDF]

新论文

新发表的论文(<6个月)值得一读

  • MobileNets:用于移动视觉应用的高效卷积神经网络(2017),Andrew G. Howard等。[PDF]
  • 序列学习的卷积序列(2017),Jonas Gehring等。[PDF]
  • 基于知识的神经对话模型(2017),Marjan Ghazvininejad等。[PDF]
  • 准确,大型Minibatch SGD:1小时(2017年)培训ImageNet,Priya Goyal等。[PDF]
  • TACOTRON:走向端到端语音合成(2017),Y。Wang等。[PDF]
  • Deep Photo Style Transfer(2017),F。Luan等。[PDF]
  • 进化策略作为强化学习的可扩展替代方案(2017),T。Salimans等。[PDF]
  • 可变形卷积网络(2017),J。Dai等。[PDF]
  • Mask R-CNN(2017),K。He et al。[PDF]
  • 学习发现与生成对抗网络的跨域关系(2017),T。Kim等。[PDF]
  • 深沉的声音:实时神经文本到语音(2017),S。Arik等,[pdf]
  • PixelNet:像素,像素和像素的表示(2017),A。Bansal等。[PDF]
  • 批量重整化:为了减少批量标准化模型中的小批量依赖性(2017),S. Ioffe。[PDF]
  • Wasserstein GAN(2017),M。Arjovsky等。[PDF]
  • 理解深度学习需要重新思考泛化(2017),C。Zhang等。[PDF]
  • 最小二乘生成对抗网络(2016),X。Mao等。[PDF]

旧论文

2012年之前发表的经典论文

  • 无监督特征学习中的单层网络分析(2011),A。Coates等。[PDF]
  • 深度稀疏整流神经网络(2011),X。Glorot等。[PDF]
  • 自然语言处理(几乎)从头开始(2011年),R。Collobert等。[PDF]
  • 基于递归神经网络的语言模型(2010),T。Mikolov等。[PDF]
  • 堆叠去噪自动编码器:使用局部去噪准则在深度网络中学习有用的表示(2010),P。Vincent等。[PDF]
  • 学习中级特征(2010),Y。Boureau [pdf]
  • 培训受限制的boltzmann机器的实用指南(2010),G。Hinton [pdf]
  • 理解深度前馈神经网络训练的难度(2010),X。Glorot和Y. Bengio [pdf]
  • 为什么无人监督的预训练有助于深度学习(2010),D。Erhan等。[PDF]
  • 为AI(2009),Y。Bengio学习深层架构。[PDF]
  • 用于可分级表示的可扩展无监督学习的卷积深度置信网络(2009),H。Lee等人。[PDF]
  • 贪婪的深层网络分层训练(2007),Y。Bengio等。[PDF]
  • 用神经网络降低数据的维数,G。Hinton和R. Salakhutdinov。[PDF]
  • 深度信念网的快速学习算法(2006),G。Hinton等。[PDF]
  • 基于梯度的学习应用于文档识别(1998),Y。LeCun等。[PDF]
  • 长期短期记忆(1997年),S。Hochreiter和J. Schmidhuber。[PDF]

硬件/软件/数据集

  • SQuAD:100,000多个机器理解文本问题(2016),Rajpurkar等。[PDF]
  • OpenAI健身房(2016年),G。Brockman等。[PDF]
  • TensorFlow:异构分布式系统上的大规模机器学习(2016),M。Abadi等。[PDF]
  • Theano:用于快速计算数学表达式的Python框架,R。Al-Rfou等。
  • Torch7:类似matlab的机器学习环境,R。Collobert等。[PDF]
  • MatConvNet:用于matlab的卷积神经网络(2015),A。Vedaldi和K. Lenc [pdf]
  • Imagenet大规模视觉识别挑战(2015),O。Russakovsky等。[PDF]
  • Caffe:用于快速特征嵌入的卷积体系结构(2014),Y。Jia等。[PDF]

书/调查/评论

  • 关于深度学习的起源(2017),H。Wang和Bhiksha Raj。[PDF]
  • 深层强化学习:概述(2017),Y。Li,[pdf]
  • 神经机器翻译和序列到序列模型(2017):教程,G。Neubig。[PDF]
  • 神经网络与深度学习(Book,2017年1月),Michael Nielsen。[HTML]
  • 深度学习(Book,2016),Goodfellow等。[HTML]
  • LSTM:搜索空间奥德赛(2016),K。格雷夫等人。[PDF]
  • 变分自动编码器教程(2016),C。Doersch。[PDF]
  • 深度学习(2015),Y。LeCun,Y。Bengio和G. Hinton [pdf]
  • 神经网络中的深度学习:概述(2015),J。Schmidhuber [pdf]
  • 代表性学习:审查和新观点(2013年),Y。Bengio等。[PDF]

视频讲座/教程/博客

(讲座)

  • CS231n,用于视觉识别的卷积神经网络,斯坦福大学[网络]
  • CS224d,斯坦福大学自然语言处理深度学习[网络]
  • Oxford Deep NLP 2017,牛津大学自然语言处理深度学习[网络]

(教程)

  • NIPS 2016教程,长滩[网页]
  • ICML 2016教程,纽约[网络]
  • ICLR 2016视频,圣胡安[网络]
  • 深度学习暑期学校2016,蒙特利尔[网络]
  • 2016年湾区深度学习学校,斯坦福[网络]

(博客)

附录:超过100强

(2016)

  • 没有用于神经机器翻译的明确分割的字符级解码器(2016),J。Chung等。[PDF]
  • 皮肤病学家级皮肤癌分类与深度神经网络(2017年),A。Esteva等。[HTML]
  • 使用多重多实例学习(2017),R。Gokberk等人,弱监督对象定位。[PDF]
  • 使用深度神经网络进行脑肿瘤分割(2017),M。Havaei等。[PDF]
  • 教授强迫:训练递归网络的新算法(2016),A。Lamb等。[PDF]
  • 对抗性学习推理(2016),V。Dumoulin等。[网页] [pdf]
  • 理解卷积神经网络(2016),J。Koushik [pdf]
  • 让人类摆脱困境:贝叶斯优化的回顾(2016),B。Shahriari等。[PDF]
  • 递归神经网络的自适应计算时间(2016),A。Graves [pdf]
  • 密集连接的卷积网络(2016),G。Huang等。[PDF]
  • 基于区域的卷积网络,用于精确的物体检测和分割(2016),R。Girshick等。
  • 基于模型加速的连续深度q学习(2016),S。Gu等。[PDF]
  • 全面检查cnn /每日邮件阅读理解任务(2016年),D。陈等人。[PDF]
  • 利用混合词 - 字符模型实现开放式词汇神经机器翻译,M。Luong和C. Manning。[PDF]
  • 用于自然语言处理的非常深的卷积网络(2016),A。Conneau等。[PDF]
  • 高效文本分类技巧(2016),A。Joulin等。[PDF]
  • 用于语义分割的深层结构模型的高效分段训练(2016),G。Lin等。[PDF]
  • 学习构建用于问答的神经网络(2016),J。Andreas等。[PDF]
  • 实时风格转移和超分辨率的感知损失(2016),J。Johnson等。[PDF]
  • 使用卷积神经网络阅读野外文本(2016),M。Jaderberg等。[PDF]
  • 什么是有效的检测建议?(2016),J。Hosang等。[PDF]
  • 内外网:使用跳过池和循环神经网络检测上下文中的对象(2016),S。Bell等。[pdf]
  • 通过多任务网络级联实现的实例感知语义分段(2016),J。Dai等。[PDF]
  • 使用pixelcnn解码器生成条件图像(2016),A。van den Oord等。[PDF]
  • 具有随机深度的深度网络(2016),G。Huang等,[pdf]
  • 随机梯度Langevin动力学的一致性和波动(2016),Yee Whye Teh等。[PDF]

(2015)

  • 询问你的神经元:一种基于神经的方法来回答关于图像的问题(2015),M。Malinowski等。[PDF]
  • 探索图像问答的模型和数据(2015),M。Ren等。[PDF]
  • 你在和机器说话吗?数据集和多语言图像问题的方法(2015),H。Gao等。[PDF]
  • Mind's eye:图像标题生成(2015)的反复视觉表现,X。Chen和C. Zitnick。[PDF]
  • 从字幕到视觉概念和背面(2015),H。Fang等。[pdf]
  • 迈向AI完整的问题回答:一系列必备玩具任务(2015),J。Weston等。[PDF]
  • 问我什么:自然语言处理的动态记忆网络(2015),A。Kumar等。[PDF]
  • 使用LSTM的无监督学习视频表示(2015),N。Srivastava等。[PDF]
  • 深度压缩:使用修剪,训练量化和霍夫曼编码压缩深度神经网络(2015),S。Han等。[PDF]
  • 改进了树状结构长短期记忆网络的语义表示(2015),K。Tai等。[PDF]
  • 字符感知神经语言模型(2015),Y。Kim等。[PDF]
  • 语法作为外语(2015),O。Vinyals等。[PDF]
  • 信任区域政策优化(2015),J。Schulman等。[PDF]
  • 超短片段:用于视频分类的深层网络(2015)[pdf]
  • 学习用于语义分割的反卷积网络(2015),H。Noh等。[PDF]
  • 利用三维卷积网络学习时空特征(2015),D。Tran等。[PDF]
  • 通过深度可视化理解神经网络(2015),J。Yosinski等。[PDF]
  • 对经常性网络架构的实证探索(2015),R。Jozefowicz等。 [PDF]
  • 使用对等网络的拉普拉斯金字塔的深度生成图像模型(2015),E.Denton等。[PDF]
  • 门控反馈回归神经网络(2015),J。Chung等。[PDF]
  • 通过指数线性单位(ELUS)快速准确地进行深度网络学习(2015),D。Clevert等。[PDF]
  • 指针网络(2015),O。Vinyals等。[PDF]
  • 可视化和理解Recurrent Networks(2015),A。Karpathy等。[PDF]
  • 基于注意力的语音识别模型(2015),J。Chorowski等。[PDF]
  • 端到端存储器网络(2015),S。Sukbaatar等。[PDF]
  • 利用时间结构描述视频(2015),L。Yao等。[PDF]
  • 神经对话模型(2015),O。Vinyals和Q. Le。[PDF]
  • O.Levy等人通过从嵌入词中学到的经验改善了分布相似性。[[pdf]](https://www.transacl.org/ojs/index.php/tacl/article/download/570/124
  • 基于过渡的依赖性解析与堆栈长短期记忆(2015),C。Dyer等。[PDF]
  • 通过使用LSTM对字符而不是单词建模来改进基于过渡的解析(2015),M。Ballesteros等。[PDF]
  • 寻找形式的功能:开放词汇单词表示的组合字符模型(2015),W。Ling等。[PDF]

(〜2014)

  • DeepPose:通过深度神经网络进行人体姿态估计(2014),A。Toshev和C. Szegedy [pdf]
  • 学习深度卷积网络以实现图像超分辨率(2014年,C。Dong等人[pdf]
  • 视觉注意的复发模型(2014),V。Mnih等。[PDF]
  • 门控递归神经网络对序列建模的实证评估(2014),J。Chung等。[PDF]
  • 解决神经机器翻译中罕见的单词问题(2014),M。Luong等。[PDF]
  • 关于神经机器翻译的特性:编码器 - 解码器方法(2014),K。Cho等。人。
  • 递归神经网络正则化(2014),W。Zaremba等。[PDF]
  • 神经网络的迷人属性(2014),C。Szegedy等。[PDF]
  • 使用递归神经网络进行端到端语音识别(2014),A。Graves和N. Jaitly。[PDF]
  • 使用深度神经网络的可扩展对象检测(2014),D。Erhan等。[PDF]
  • 关于初始化和动力在深度学习中的重要性(2013),I。Sutskever等。[PDF]
  • 使用dropconnect进行神经网络的正则化(2013),L。Wan等。[PDF]
  • 学习场景标签的层次特征(2013),C。Farabet等。[PDF]
  • 连续空间词表示中的语言规律(2013),T。Mikolov等。[PDF]
  • 大规模分布式深度网络(2012),J。Dean等。[PDF]
  • 一种快速准确的神经网络依赖解析器。陈和曼宁。[PDF]
本文地址:http://www.yangchaofan.cn/archives/982
版权声明:本文为原创文章,版权归 金诚 所有,欢迎分享本文,转载请保留出处!

说点什么

avatar
  Subscribe  
提醒