深度学习2011年最开始火的时候（Hinton），人们会认为deep learning（DL） 约等于convolutional neural network（CNN）, 这是一个有监督学习的图像识别工具；
然后出现了词向量(word2vec)，人们开始觉得DL还能解决一部分NLP问题
然后long short term memory （LSTM）突然比较成功，人们开始觉得DL还能做时间序列预测和序列识别
然后Deepmind发表了Deep Q-Network(DQN), 人们开始觉得DL还能做运动控制
等等
总之截止到今年，DL给人的印象就是
1、负责底层信号处理的（视觉，语音，文字）分类器
到这个时候，DL似乎还解决不了很多问题，比如？
大众媒体会给人一种印象，认为DL只是在高维数据的分类上略有优势。然而RNN理论上可以拟合所有信息过程，包括程序，逻辑，基于符号的推理，世界模型推演，情绪，审美，创造力，精细运动；而今天RNN还并没有被用来拟合这些程序和过程
我 认为仅仅因为我们无法获取相关任务的有效训练集。我们可以从互联网上获取大量图片、文本，这些外显的数据构成了训练神经网络的原料。但是我们不会分享编 程、逻辑推理时全部思维的细节；此外，人脑会把语言符号通过一些先验知识和过程翻译成中间信息，这些中间信息的缺乏使训练集变得无效。因此自下而上地构建 智能系统是唯一的选择
1、世界模型推演，或常识；当杯子移出桌子的边缘，人脑会知道它下一秒钟会掉下去。训练这个过程的训练集依赖底层数据的表征方式，而目前DL的问题在于缺乏一种对来自底层（图片）概念的统一的表征方式，我把这个问题称为DL的［底层表征瓶颈］。
2、情绪和审美，人们会先入为主地认为计算机是理性的，与情绪无关，然而人类可以通过表情、语调把自己的情绪外显地表露出来，通过收集这些训练集很容易就能建立起从状态到情绪的映射，使计算机拥有情绪。
3、 创造力的本质是数据的微调和重组，由于对遗传算法和模拟退火之类的优化过程的不熟悉，人们会误以为创造力是非常NB的智能活动。真实世界的创造有两个前 提：如何拆分原始数据是重组的前提（识别问题）对结果的评估函数（评价函数拟合问题），这两个问题都是DL可以解决的。
4、基于符号（原子表征）的推理（取代决策树），比如IBM的watson诊断系统，仍然依赖于许多原子表征的推理。为什么这种东西至今没有被DL取代？
5、精细运动；人类的每块肌肉的运动是内隐的；需要重新训练，人类的运动依赖模仿（底层表征瓶颈），强化学习（底层表征瓶颈），对奖励的时间序列预测（底层表征瓶颈）
如果我们把来自底层的信号建立起统一的表征机制，就会形成统一的概念；DL可以做任意概念组合之间的映射而不仅仅是基于原始图像或语音的分类。
我 认为仅仅因为我们无法获取相关任务的有效训练集。我们可以从互联网上获取大量图片、文本，这些外显的数据构成了训练神经网络的原料。但是我们不会分享编 程、逻辑推理时全部思维的细节；此外，人脑会把语言符号通过一些先验知识和过程翻译成中间信息，这些中间信息的缺乏使训练集变得无效。因此自下而上地构建 智能系统是唯一的选择
1、世界模型推演，或常识；当杯子移出桌子的边缘，人脑会知道它下一秒钟会掉下去。训练这个过程的训练集依赖底层数据的表征方式，而目前DL的问题在于缺乏一种对来自底层（图片）概念的统一的表征方式，我把这个问题称为DL的［底层表征瓶颈］。
2、情绪和审美，人们会先入为主地认为计算机是理性的，与情绪无关，然而人类可以通过表情、语调把自己的情绪外显地表露出来，通过收集这些训练集很容易就能建立起从状态到情绪的映射，使计算机拥有情绪。
3、 创造力的本质是数据的微调和重组，由于对遗传算法和模拟退火之类的优化过程的不熟悉，人们会误以为创造力是非常NB的智能活动。真实世界的创造有两个前 提：如何拆分原始数据是重组的前提（识别问题）对结果的评估函数（评价函数拟合问题），这两个问题都是DL可以解决的。
4、基于符号（原子表征）的推理（取代决策树），比如IBM的watson诊断系统，仍然依赖于许多原子表征的推理。为什么这种东西至今没有被DL取代？
5、精细运动；人类的每块肌肉的运动是内隐的；需要重新训练，人类的运动依赖模仿（底层表征瓶颈），强化学习（底层表征瓶颈），对奖励的时间序列预测（底层表征瓶颈）
如果我们把来自底层的信号建立起统一的表征机制，就会形成统一的概念；DL可以做任意概念组合之间的映射而不仅仅是基于原始图像或语音的分类。