交叉熵损失函数Cross Entropy Error Function
-
二分类表达式
其中:
-
y——表示样本的label,正类为1,负类为0
-
p——表示样本预测为正的概率
(y=1)时,对应的(p)越大则(-log(p))越小,即损失越小
同理 ,(y=0)时,(p)越小,(-log(1-p))越小,即损失越小
eg: (target=1),预测([0.6,0.4]),(L=-[1*log(0.6)]+0])
-
多分类
多分类的情况实际上就是对二分类的扩展:
其中:
- ——类别的数量;
- ——指示变量(0或1),如果该类别和样本的类别相同就是1,否则是0;
- ——对于观测样本属于类别 的预测概率。现在我们利用这个表达式计算上面例子中的损失函数值:
模型1:
模型2:
可见,交叉熵损失函数只关注某一类别的信心最大概率,为0的概率不计算