【人工智能导论：模型与算法】
P124 交叉熵；梯度下降法；学习率
P127 信息熵；信息增益
这几个知识点需要科普一下。梯度下降和学习率在BP部分学习。
交叉熵：度量两个概率分布间的差异性信息。
信息熵：系统有序化程度的一个度量。香农用信息熵的概念来描述信源的不确定度。
信息熵：表示随机变量的不确定性。
条件熵：在一个条件下，随机变量的不确定性。
信息增益： 信息熵 - 条件熵。表示在一个条件下，信息不确定性减少的程度。
P124 交叉熵；梯度下降法；学习率
P127 信息熵；信息增益
这几个知识点需要科普一下。梯度下降和学习率在BP部分学习。
交叉熵：度量两个概率分布间的差异性信息。
信息熵：系统有序化程度的一个度量。香农用信息熵的概念来描述信源的不确定度。
信息熵：表示随机变量的不确定性。
条件熵：在一个条件下，随机变量的不确定性。
信息增益： 信息熵 - 条件熵。表示在一个条件下，信息不确定性减少的程度。