https://mp.weixin.qq.com/s/TdwMn_AwA6tSuKCaFRvCpg
近年来，深度学习作为机器学习的新分支，其应用在多个领域取得巨大成功，并一直在快速发展，不断开创新的应用模式，创造新机会。深度学习方法根据训练数据是否拥有标记信息被划分为监督学习、半监督学习和无监督学习。实验结果显示了上述方法在图像处理、计算机视觉、语音识别、机器翻译、艺术、医学成像、医疗信息处理、机器人控制和生物、自然语言处理（NLP）、网络安全等领域的最新成果。本报告简要概述了深度学习方法的发展，包括深度神经网络（DNN）、卷积神经网络（CNN）、循环神经网络（RNN）（包括长短期记忆（LSTM）和门控循环单元（GRU））、自 编码器（AE）、深度信念网络（DBN），生成对抗网络（GAN）和深度强化学习（DRL）。此外，本文也涵盖了深度学习方法前沿发展和高级变体深度学习技术。此外，深度学习方法在各个应用领域进行的探索和评估也包含在本次调查中。我们还会谈到最新开发的框架、SDK 和用于评估深度学习方法的基准数据集。然而，这些论文并没有讨论某些大型深度学习模型和最新开发的生成模型方法 。
特征学习
传统机器学习和深度学习之间的关键区别在于如何提取特征。传统机器学习方法通过应用几种特征提取算法，包括尺度不变特征变换（SIFT）、加速鲁棒特征（SURF）、GIST、RANSAC、直方图方向梯度（HOG）、局部二元模式（LBP）、经验模式分解（EMD）语音分析等等。最后，包括支持向量机（SVM）、随机森林（RF）、主成分分析（PCA）、核主成分分析（KPCA）、线性递减分析（LDA）、Fisher 递减分析（FDA）等很多学习算法都被人们应用于分类和提取特征的任务。此外，其他增强方法通常多个应用于单个任务或数据集特征的学习算法，并根据不同算法的多个结果进行决策。
2. 自动语音识别
深度学习通过 TIMIT 数据集（通用数据集通常用于评估）完成的小规模识别任务是深度学习在语音识别领域的初次成功体现。TIMIT 连续声音 - 语音语料库包含 630 位来自美国的八种主要英语口音使用者，每位发言人读取 10 个句子。下图总结了包括早期结果在内的错误率，并以过去 20 年的电话错误率（PER）来衡量。条形图清楚地表明，与 TIMIT 数据集上以前的机器学习方法相比，最近开发的深度学习方法（图顶部）表现更好。
本论文的其余部分的组织方式如下：
- 第二节讨论 DNN 的详细调查，
- 第三节讨论 CNN；
- 第四节介绍了不同的先进技术，以有效地训练深度学习模型；
- 第五节讨论 RNN；
- AE 和 RBM 在第六节中讨论；
- GAN 及其应用在第七节讨论；
- 强化学习在第八节中介绍；
- 第九节解释迁移学习；
- 第十节介绍了深度学习的高效应用方法和硬件；
- 第十一节讨论了深度学习框架和标准开发工具包（SDK）；
- 第十二节给出了不同应用领域的基准测试结果；第十三节为结论。