Tensorflow2.0笔记10——损失函数

Tensorflow2.0笔记

本博客为Tensorflow2.0学习笔记，感谢北京大学微电子学院曹建老师

目录

• Tensorflow2.0笔记
  • 4 损失函数
  • 4.1 均方误差损失函数
  • 4.2 交叉熵损失函数
  • 4.3 自定义损失函数

4 损失函数

​ 神经网络模型的效果及优化的目标是通过损失函数来定义的。回归和分类是监督学习中的两个大类。

4.1 均方误差损失函数

​ 均方误差（Mean Square Error）是回归问题最常用的损失函数。回归问题解决的是对具体数值的预测，比如房价预测、销量预测等。这些问题需要预测的不是一个事先定义好的类别，而是一个任意实数。均方误差定义如下：

​

TensorFlow API:tf.keras.losses.MSE

4.2 交叉熵损失函数

​ 交叉熵（Cross Entropy）表征两个概率分布之间的距离，交叉熵越小说明二者分布越接近，是分类问题中使用较广泛的损失函数。

​ 对于多分类问题，神经网络的输出一般不是概率分布，因此需要引入softmax层，使得输出服从概率分布。TensorFlow中可计算交叉熵损失函数的API有：

TensorFlow API:tf.keras.losses.categorical_crossentropy

TensorFlow API:tf.nn.softmax_cross_entropy_with_logits

TensorFlow API:tf.nn.sparse_softmax_cross_entropy_with_logits

4.3 自定义损失函数

​ 根据具体任务和目的，可设计不同的损失函数。从老师课件和讲解中对于酸奶预测损失函数的设 计，我们可以得知损失函数的定义能极大影响模型预测效果。好的损失函数设计对于模型训练能够起到 良好的引导作用。

​ 例如，我们可以看目标检测中的多种损失函数。目标检测的主要功能是定位和识别，损失函数的功 能主要就是让定位更精确，识别准确率更高。目标检测任务的损失函数由分类损失（Classificition Loss）和回归损失（Bounding Box Regeression Loss）两部分构成。近几年来回归损失主要有Smooth L1 Loss(2015), IoU Loss(2016 ACM), GIoU Loss(2019 CVPR), DIoU Loss & CIoU Loss(2020 AAAI)等，分类损失有交叉熵、softmax loss、logloss、focal loss等。在此由于篇幅原因不细究，有兴趣的同学可自行研究。主要是给大家一个感性的认知：需要针对特定的背景、具体的任务设计损失函数。