线性回归
Q:(y=w_1x_1+w_2x_2^2+w_3x_3^3+b) 是线性回归吗?
是,线性与否是对于模型参数(w)来说的,(x)是已知量。
Q:线性回归所用的最小二乘法的几何解释和概率解释。
几何解释:子空间(X)上的正交投影。
概率解释:零均值等方差高斯假设下的最大似然估计。实际上,$||cdot ||_2^2$已经带有高斯假设了。
##逻辑斯蒂回归
####Q:线性回归的任务是预测,能否用来分类?
可以,已知线性回归是$z=w^TX$,其中$w$是向量,$X$是矩阵。通过$y=frac{1}{1+e^{-z}}$即可将$z$限制在0~1之间用于表示分类概率。
####Note:逻辑斯蒂回归直接得到后验概率$P(y|x)$,而不是先得到先验概率$P(x)$和似然概率$P(x|y)$,因此逻辑斯蒂回归属于判决模型(discriminative model),而非生成模型(generative model)。
##多分类学习
####Note:OvO(One vs. One),OvR(One vs. Rest)。
##类别不平衡问题
####Q:以二分类为例,假设正样本总数($N^+$)少,而负样本总数($N^-$)多。那么模型在降低损失时,会看重样本多的负样本,这样总体损失小。但对于正样本而言,损失很大。
**再缩放策略:**
- 阈值移动 (类别平衡时的 $frac{p}{1-p}>1 Rightarrow frac{p}{1-p} frac{N^-}{N^+}>1$,基于贝叶斯分类;同时也可以将损失函数加权,给正样本损失更多关注)
- 过采样 (增多正样本:样本复制; 样本插值; 样本生成(GAN))
- 欠采样 (多次随机抽取负样本,再融合,以防损失信息)
Focal loss:(FL(p_t)=(1-p_t)^gamma log(p_t))
- 自适应样本加权
- 容易分类样本权重降低((p_t
ightarrow 1 Rightarrow (1-p_t)
ightarrow 0))
- 促使分类器学习困难样本!
级联分类器(Cascaded Classfier)人脸检测
随机采样一致(Random Sample Consensus)