ReLU激活函数---从趋近于零开始，然后变成一条直线。（Rectified Linear Unit）（修正线性单元）
在神经网络中，你决定在这个结点中想要得到什么，然后用所有的四个输入来计算想得到的。输入层和中间层紧密连接。
神经网络给与了足够多的关于x和y的数据，给与了足够多的训练样本有关x和y。神经网络非常擅长计算从x到y的精准映射函数。
目前几乎所有神经网络创造的经济价值，本质上都离不开一种叫做监督学习的机器学习类别。
可以输入一个图像，然后想输出一个索引，范围从1到1000，来试着告诉你这张照片，它可能是1000个不同图像中的任何一个。也可以将音频片段输入神经网络，然后让他输出文本记录。自动驾驶技术中，可以输入一幅图像，就像一个信息雷达展示汽车前方有什么，据此可以训练一个神经网络，来告诉汽车在马路上的具体位置。
对于图像应用，经常在神经网络上使用卷积（Convolutional Neural Network），即CNN。
对于序列数据，比较适合RNN。例如音频，有一个时间组件，随着时间的推移，音频被播放出来，音频是一种最自然的表现；作为一维时间序列（one-dimensional time series / temporal sequence），对于序列数据，经常使用RNN，一种递归神经网络（Recurrent Neural Network）,语言，英语和汉语字母表或单词都是逐个出现的，所以语言也是最自然的序列数据，因此更复杂的RNN版本经常用于这些应用。
结构化数据和非结构化数据：
如果你想要获得较高的性能体现，那么你有两个条件要完成，第一个是你需要训练一个规模足够大的神经网络，以发挥数据规模量巨大的优点，另外很多的数据才能训练到可靠的结果。
在一个小的训练集中，各种算法的优先级事实上定义的也不是很明确，所以如果你没有大量的训练集，那效果会取决于你的特征工程能力，那将决定最终的性能。
------吴恩达教授课程安排：
第一周：关于深度学习的介绍。在每一周的结尾也会有十个多选题用来检验自己对材料的理解；
第二周：关于神经网络的编程知识，了解神经网络的结构，逐步完善算法并思考如何使得神经网络高效地实现。从第二周开始做一些编程训练（付费项目），自己实现算法；
第三周：在学习了神经网络编程的框架之后，你将可以编写一个隐藏层神经网络，所以需要学习所有必须的关键概念来实现神经网络的工作；
第四周：建立一个深层的神经网络。
学习源于：https://blog.csdn.net/weixin_36815313/article/details/105301941