本节提示：
1、DL的核心构建
2、Keras的简单介绍
3、搭建DL机器训练环境
4、使用DL模型解决基础问题
3.1 DL的基本构建：layer
layer的定义：以1个或多个tensor作为输入，并且运算出来1个或者多个tensor作为输出的数据处理模型。
from keras import models
from keras import layters
model = models.Sequentail()
model.add(layers.Dense(32,input_shape=（784，)))
model.add(layers.Dense(32))
在这样的代码中，第二层的layer自动以前一层的结果大小为输入大小。
3.2 DL的基本构建：model
model的定义：一个DL的model是一个直接的、非循环的layer的图，是最直接的layers的线性表示方式，单输入并且但输出。
model包含squence和model两种模式，这在之前已经讨论过。
3.3 DL的基本构建:loss function和optimizers
loss function:它表示的是当前训练项目的成功率；
optimizers: 表示，基于当前的loss function，当前的网络采取什么样的方法优化。主要是体现在SGD的具体变化上。
对于不同类型的训练，往往都有默认的很好的optimizers选择，只有当你进行专门的训练的时候，才可能需要采用自己定义的方法。
3.4 DL训练的步骤
3.4.1 定义你的数据集
3.4.2 选择一种layers的组合方式(选择model)
3.4.3 config选择的的model
3.4.4 训练，并且得到结果
在定义的过程中，有一些思考：
a、为什么要使用激活层
否则，原系统就是原始的线性系统，缺乏灵活性。
b、关于损失函数的选择
如果你使用的是binary函数，则
loss='binary_crossentropy'
当你想使用自定义的时候，尝试这个
model.compile(optimizer=optimizers.RMSprop(lr=0.001),
loss='binary_crossentropy',
metrics=['accuracy'])
实际上，很多时候，RMSprop都是一个不错的选择。
3.5 fit()返回的是log，它是一个hash，类似这种结构
['acc','loss','val_acc','val_loss']
3.6 predict
model.predict(x_test)
是对目前一个输入测试用例的实验。
3.7 关于compile中参数的选择，这块的概论非常重要又很模糊
一个典型的compile主要解决3个问题：
optimizer是什么，loss是什么，metrics是什么。而这3个参数的选择，往往都和问题本身有关：
optimizer:优化器，为预定义优化器名或优化器对象
常见的目标函数
rmsprop:绝大多数情况下都是可用的，该优化器通常是面对递归神经网络时的一个良好选择
sgd：（似乎也是可以的）随机梯度下降法，支持动量参数，支持学习衰减率，支持Nesterov动量
loss:( categorical:绝对的;cross entropy 交叉熵)
categorical_crossentropy 最好的选择，onehot
sparse_categorical_crossentropy 当你的标签是integer的时候，选择
binary_crossentropy 2类分类的时候，选择
mse mean squared error 当你的问题是回归问题的时候选择(regression）
而mae为 mean absolute error ，能够只管地显示出你在什么时候出现overfit
可用的目标函数
mean_squared_error或mse
mean_absolute_error或mae
mean_absolute_percentage_error或mape
mean_squared_logarithmic_error或msle
squared_hinge
hinge
categorical_hinge
binary_crossentropy（亦称作对数损失，logloss）
logcosh
categorical_crossentropy：亦称作多类的对数损失，注意使用该目标函数时，需要将标签转化为形如
(nb_samples, nb_classes)的二值序列sparse_categorical_crossentrop：如上，但接受稀疏标签。注意，使用该函数时仍然需要你的标签与输出值的维度相同，你可能需要在标签数据上增加一个维度：
np.expand_dims(y,-1)kullback_leibler_divergence:从预测值概率分布Q到真值概率分布P的信息增益,用以度量两个分布的差异.
poisson：即
(predictions - targets * log(predictions))的均值cosine_proximity：即预测值与真实标签的余弦距离平均值的相反
metrics（列表，包含评估模型在训练和测试时的性能的指标）
acc和accuracy，似乎是一个东西，或者metrics={'ouput_a': 'accuracy'}
3.8 平滑绘制最后的曲线
从
plt.plot(range(1,len(average_mae_history)+1),average_mae_history)到
def smooth_curve(points,factor=0.9)
smoothed_points = []
for point in points:
if smoothed_points:
previous = smoothed_points[-1]
smoothed_points.append(previous*factor+point*(1-factor))
else:
smothed_points.append(point)
return smoothed_points
应该是有方法的，但是也是要到了多个epoch的时候才会出现这个问题。