交叉熵损失函数小结
一、总结
一句话总结：
交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。
1、交叉熵损失函数和平方差损失函数的区别？
[①]、平方差所惩罚的是与损失为同一数量级的情形
[②]、分类问题用交叉熵损失函数，因为分类问题是概率：对于分类问题，我们最好的使用交叉熵损失函数会更有效
[③]、更大损失，更快收敛：交叉熵会输出一个更大的"损失"
2、交叉熵损失函数相比平方差损失函数的优点？
|||-begin
在图像分割中，两个损失函数都可以用，为什么通常少见将平方差作为损失函数，而要用交叉熵损失。
|||-end
[1]、在激活函数是sigmoid之类的函数的时候，用平方损失的话会导致误差比较小的时候梯度很小，
[2]、这样就没法继续训练了，这时使用交叉熵损失就可以避免这种衰退。
[3]、如果是线性输出或别的激活函数神经元的话完全可以用平方损失。
二、交叉熵损失函数小结
博客对应课程的视频位置：
线性回归预测的是一个连续值
逻辑回归给出的“是”和“否”的回答
sigmoid函数是一个概率分布函数，给定某个输入，它将输出为一个概率值
--逻辑回归损失函数
平方差所惩罚的是与损失为同一数量级的情形
对于分类问题，我们最好的使用交叉熵损失函数会更有效
交叉熵会输出一个更大的"损失"
--交叉熵损失函数
交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。
假设概率分布p为期望输出，概率分布q为实际输出，H（p，q）为交叉熵，则：
--keras交叉熵
在keras里，我们使用binary_crossentropy 来计算二元交叉熵。