Mean Square Error
[cost(t,o)=frac{1}{n}sumlimits_{i=1}^n{(o-t)^2}]
Binary Cross-Entropy
用于计算 target 和 output 之间的binary 交叉熵。[cost(t,o)=-{[tln(o) + (1-t)ln (1-o)]}]
也可以写作:
[cost(t,o)=left{egin{array}{*{20}{l}}
{ln o, ~~~~~~t=1,}\ {ln (1-o), t=0} end{array}
ight.]
只不过上面的是一个分段函数，计算的时候不方便。
Categorical Cross-Entropy
度量两个分布之间的距离，记为 $H(p,q)$。
[H(p,q)=-sumlimits_x{p(x)log (q(x))}]
其中 $p$是 真实分布, $p=[p_1,p_2cdots,p_n]$. $q$ 是近似分布,$q=[q_1,q_2cdots,q_n]$.
当两个概率分布完全相同时，即:
[p(x)=q(x),x=1,2,cdots,n]
其相对熵为0。