你是否一直在使用你的损失函数来评估你的机器学习系统的性能?我相信有很多人也是这样做的，这是一个普遍存在的误解，因为人工智能中的程序默认设置、课程中介绍都是这样说的。
在本文中，我将解释为什么需要两个独立的模型评分函数来进行评估和优化……甚至还可能需要第三个模型评分函数来进行统计测试。
在整个数据科学项目，会看到评分指标函数（例如MSE）用于三个主要目的：
- 表现评估：模型表现如何？通过评估指标能快速了解我们在做什么
- 模型优化：模型是否适合，是否可以改进？哪种模型最接近我们的数据点？
- 统计决策：模型是否足以让我们使用？这个模型通过我们严格的假设检验标准了吗?
这三个函数彼此之间有微妙的但很重要的“不同”，所以让我们更深入地看看是什么让一个函数对每个目的都“好”。
表现评估（度量）
性能指标告诉我们模型的表现如何。评估的目的是让任何人看到分数后就能够立刻了解模型的内容。
指标应旨在使人有意义并有效地传达信息。
例如尽管MSE是模型优化的非常流行的指标，但它涉及将我们关心的数字平方，它对指标进行了错误的缩放。所以他对于我们的评估来说并不是一个最佳的指标，因为指标应旨在使人有意义并有效地传达信息。
所以人们更喜欢RMSE，因为RMSE将MSE的数量级缩小到更加可读的范围
所以如何评估一个度量是“好”的?
当性能评估指标被设计用来捕捉人们关心的事情，并有效地将这些信息传递到你的大脑中时，它就是好的。MSE是一个还算不错的指标，但还不是最好的。
模型优化(损失函数)
模型评估函数的第二次使用是为了优化。这时就要用到损失函数了。损失函数是机器学习算法在优化/模型拟合步骤中试图最小化的公式。
当通过数据拟合模型时，我们实际上是在微调一些参数，模型通过这些函数来使其结果尽可能接近数据。通过损失函数的得分来进行优化，它实质上是一种自动方法来确定哪种参数更适合我们的数据。损失函数的结果越大，说明在模型与数据的差异就越多。
对于机器学习来说，能够实现才是最终的目的，所以选择一个易于计算的函数是非常现实的问题，这就是为什么MSE如此受欢迎原因。在微积分X²的一阶导数是非常容易计算的（MSE中的S代表“平方”），因此在优化中 最小化的问题就变得非常的简单。
在上面图中，我们从模型1开始，然后用优化算法(也可以叫微积分)得到模型2。我们找到了截距和斜率的值，从而得到了这些数据的最小MSE。模型2是一条根据MSE的最小化计算出的尽可能接近点的直线。
完整文章：
https://avoid.overfit.cn/post/8ecf26a2a5144a358b104522fb14ed6d