深度学习已经在语音识别、图像处理等方面取得了巨大成功。从2013、2014年开始，也在自然语言处理领域出现深度学习的应用浪潮，例如今年ACL上有人（应该是BBN公司？）利用深度学习极大地提升了统计机器翻译的性能，颇值得期待。
关于深度学习的挑战与方向，其实可以关注深度学习重要学者们的相关综述文章和专著，例如Yoshua Bengio曾经写过的Learning Deep Architectures for AI （2009年）、Practical Recommendations for Gradient-Based Training of Deep Architectures（2012年）、Representation Learning: A Review and New Perspectives （2013年）。
限于自己的研究方向和兴趣，我比较关注的一个方向如下，希望与大家交流。人们一般认为深度学习在语音识别和图像处理方面能够取得长足进度，是因为这两个领域的相关特征信息都是相对低层次的，可以借助深度学习的强大学习能力学习其中的复杂信息；而到了自然语言处理领域，人们利用深度学习做过很多尝试，发现很难取得像语音识别和图像处理那么大的突破，原因在于自然语言的相关特征信息都是相对高层次的（如自然语言的基本单位——词汇——本身就有丰富的语义内涵，与图像中的“线条”、“纹理”等特征相比尤其如此），在深度学习之前就由语言专家编制了很多精致而复杂的知识库，如WordNet等，这些知识已经将相关处理性能推到了较高层次。因此，当深度学习进入自然语言时，如果还是像语音识别、图像处理那样从零知识开始做特征学习，相当于将丰富的语言知识弃之不用而另起炉灶，是不符合自然语言处理特点的。所以，深度学习的一个可能重要的发展方向是，如何在深度学习框架中高效地融合人们已经构建出来的丰富先验知识（包括语言知识、世界知识）。
需要注意的是，与LDA（latent Dirichlet allocation）等之前流行的机器学习算法不同，深度学习不是某个具体算法，而是采用”深度“学习思想的一系列算法的统称，在机器学习领域中（如ICML、NIPS），貌似很少有论文会以deep learning命名，而是具体算法的名称，如autoencoder，等等。因此，建议首先阅读一些tutorial，了解深度学习中的主要算法和人物，然后再去了解具体算法。
关于深度学习的挑战与方向，其实可以关注深度学习重要学者们的相关综述文章和专著，例如Yoshua Bengio曾经写过的Learning Deep Architectures for AI （2009年）、Practical Recommendations for Gradient-Based Training of Deep Architectures（2012年）、Representation Learning: A Review and New Perspectives （2013年）。
限于自己的研究方向和兴趣，我比较关注的一个方向如下，希望与大家交流。人们一般认为深度学习在语音识别和图像处理方面能够取得长足进度，是因为这两个领域的相关特征信息都是相对低层次的，可以借助深度学习的强大学习能力学习其中的复杂信息；而到了自然语言处理领域，人们利用深度学习做过很多尝试，发现很难取得像语音识别和图像处理那么大的突破，原因在于自然语言的相关特征信息都是相对高层次的（如自然语言的基本单位——词汇——本身就有丰富的语义内涵，与图像中的“线条”、“纹理”等特征相比尤其如此），在深度学习之前就由语言专家编制了很多精致而复杂的知识库，如WordNet等，这些知识已经将相关处理性能推到了较高层次。因此，当深度学习进入自然语言时，如果还是像语音识别、图像处理那样从零知识开始做特征学习，相当于将丰富的语言知识弃之不用而另起炉灶，是不符合自然语言处理特点的。所以，深度学习的一个可能重要的发展方向是，如何在深度学习框架中高效地融合人们已经构建出来的丰富先验知识（包括语言知识、世界知识）。
需要注意的是，与LDA（latent Dirichlet allocation）等之前流行的机器学习算法不同，深度学习不是某个具体算法，而是采用”深度“学习思想的一系列算法的统称，在机器学习领域中（如ICML、NIPS），貌似很少有论文会以deep learning命名，而是具体算法的名称，如autoencoder，等等。因此，建议首先阅读一些tutorial，了解深度学习中的主要算法和人物，然后再去了解具体算法。
Multimedia Laboratory 我们实验室对deep learning 的最新进展和相关论文做的整理。 对初学deep learning的同学会很有帮助的。深度学习并没有到出现泡沫的那个程度，它实用化和开始为人熟知几乎是在同时，并没有像“云计算”，“大数据” 等这些概念有一个炒作的周期。
补个 Attention-based Model
可以参考以下论文：
Neural Machine Translation By Jointly Learning to Align and Translate
可以参考以下论文：
Neural Machine Translation By Jointly Learning to Align and Translate
Effective Approaches to Attention-Based Neural Machine Translation
Attention-Based Models for Speech Recognition
Show, Attend and Tell: Neural Image Caption Generation with Visual Attention
A Neural Attention Model for Abstractive Sentence Summarization
Reasoning about Entailment with Neural Attention
A Hierarchical Neural Auto-Encoder for Paragraphs and Documents
Encoding Source Language with Convolutional Neural Network for Machine Translation
Hinton，Bengio及Lecun三位大神在Nature上发表的Deep Learning综述最后总结了深度学习的三大发展方向：
1. 无监督学习。无监督学习在深度学习刚火的那几年有很重要的作用，比如用无监督方式训练深度信念网络还有稀疏自编码器等，使用无监督学习主要是为了预训练，以得到一个较好的初始值，随后再使用有监督训练进行微调。但是随着计算能力的发展，人们发现只要在数据集足够大的情况下使用纯有监督学习也能得到较好性能，所以近几年无监督学习发展不是很大，Hinton他们希望在未来无监督学习能有更大发展，因为人类和动物的学习在很大程度上都是无监督的：我们通过观察这个世界来学习，而不是有个老师在教我们这个世界的原理。
2. 深度强化学习。深度强化学习的主要思想简而言之就是将深度学习与强化学习相结合，是一种从感知到动作的端到端学习。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作，中间没有人工特征的工作。深度增强学习具备使机器人实现真正完全自主的学习一种甚至多种技能的潜力。深度强化学习最突出的代表就是DeepMind公司了，该公司在NIPS 2013上发表的Playing Atari with Deep Reinforcement Learning一文，在该文中第一次提出深度强化学习这个名称，之后在Nature上发表了改进版的文章Human-level control through deep reinforcement learning，引起了广泛的关注，深度强化学习从此成为深度学习领域的前沿研究方向。最近的李世石大战阿法狗中，阿法狗背后的技术也是深度强化学习，DeepMind将阿法狗背后用到的技术发表在了2016年的Nature上Mastering the game of Go with deep neural networks and tree search。
3. 自然语言理解。自然语言理解也是深度学习在未来几年能大有作为的领域。使用深度学习技术的各种应用比如神经机器翻译，问答系统，文摘生成等都取得了不错的效果，效果的提升主要归功于注意力机制和循环神经网络相结合的强大能力。相信未来几年内还会有大量相关工作出现。
1. 无监督学习。无监督学习在深度学习刚火的那几年有很重要的作用，比如用无监督方式训练深度信念网络还有稀疏自编码器等，使用无监督学习主要是为了预训练，以得到一个较好的初始值，随后再使用有监督训练进行微调。但是随着计算能力的发展，人们发现只要在数据集足够大的情况下使用纯有监督学习也能得到较好性能，所以近几年无监督学习发展不是很大，Hinton他们希望在未来无监督学习能有更大发展，因为人类和动物的学习在很大程度上都是无监督的：我们通过观察这个世界来学习，而不是有个老师在教我们这个世界的原理。
2. 深度强化学习。深度强化学习的主要思想简而言之就是将深度学习与强化学习相结合，是一种从感知到动作的端到端学习。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作，中间没有人工特征的工作。深度增强学习具备使机器人实现真正完全自主的学习一种甚至多种技能的潜力。深度强化学习最突出的代表就是DeepMind公司了，该公司在NIPS 2013上发表的Playing Atari with Deep Reinforcement Learning一文，在该文中第一次提出深度强化学习这个名称，之后在Nature上发表了改进版的文章Human-level control through deep reinforcement learning，引起了广泛的关注，深度强化学习从此成为深度学习领域的前沿研究方向。最近的李世石大战阿法狗中，阿法狗背后的技术也是深度强化学习，DeepMind将阿法狗背后用到的技术发表在了2016年的Nature上Mastering the game of Go with deep neural networks and tree search。
3. 自然语言理解。自然语言理解也是深度学习在未来几年能大有作为的领域。使用深度学习技术的各种应用比如神经机器翻译，问答系统，文摘生成等都取得了不错的效果，效果的提升主要归功于注意力机制和循环神经网络相结合的强大能力。相信未来几年内还会有大量相关工作出现。
NLP:
1.机器翻译会成为热点。
2.各种xxx2vec被玩坏了。
3.各种架构杂交，如CNN, 两种RNN，LSTM，ResNet，attention
CV:
图像分类被玩坏了，检测也快了，可能下面这两个方向会出很多论文。
1.semisupervised leanring
2.视频上的语义理解
强化学习：
alphago带了一波节奏，可能还会火一阵子。
语音我不懂。
unsupervised leanring和inference是深度学习大牛hinton和lecun等想挖的大坑，感觉inference没戏，unsupervised leanring也不好做，不知道谁会把大招憋出来。从现在的情况看，没什么突破性进展。
1.机器翻译会成为热点。
2.各种xxx2vec被玩坏了。
3.各种架构杂交，如CNN, 两种RNN，LSTM，ResNet，attention
CV:
图像分类被玩坏了，检测也快了，可能下面这两个方向会出很多论文。
1.semisupervised leanring
2.视频上的语义理解
强化学习：
alphago带了一波节奏，可能还会火一阵子。
语音我不懂。
unsupervised leanring和inference是深度学习大牛hinton和lecun等想挖的大坑，感觉inference没戏，unsupervised leanring也不好做，不知道谁会把大招憋出来。从现在的情况看，没什么突破性进展。
不得不承认, Deep learning正在颠覆各个领域, 相信其用途会越来越广, 在Sentiment Analysis 和Text Classification中, Word-Level 和 Character-Level的CNN都取得了很高的准备率. 可以参见我另一个回答 : 中文情感分析 (Sentiment Analysis) 的难点在哪？现在做得比较好的有哪几家？ - 彭浩的回答