• 【机器学习】回归问题的笔记


    线性回归

    Q:(y=w_1x_1+w_2x_2^2+w_3x_3^3+b) 是线性回归吗?

     是,线性与否是对于模型参数(w)来说的,(x)是已知量。

    Q:线性回归所用的最小二乘法的几何解释和概率解释。

     几何解释:子空间(X)上的正交投影。

     概率解释:零均值等方差高斯假设下的最大似然估计。实际上,$||cdot ||_2^2$已经带有高斯假设了。
    ##逻辑斯蒂回归 ####Q:线性回归的任务是预测,能否用来分类?  可以,已知线性回归是$z=w^TX$,其中$w$是向量,$X$是矩阵。通过$y=frac{1}{1+e^{-z}}$即可将$z$限制在0~1之间用于表示分类概率。 ####Note:逻辑斯蒂回归直接得到后验概率$P(y|x)$,而不是先得到先验概率$P(x)$和似然概率$P(x|y)$,因此逻辑斯蒂回归属于判决模型(discriminative model),而非生成模型(generative model)。 ##多分类学习 ####Note:OvO(One vs. One),OvR(One vs. Rest)。 ##类别不平衡问题 ####Q:以二分类为例,假设正样本总数($N^+$)少,而负样本总数($N^-$)多。那么模型在降低损失时,会看重样本多的负样本,这样总体损失小。但对于正样本而言,损失很大。  **再缩放策略:** - 阈值移动 (类别平衡时的 $frac{p}{1-p}>1 Rightarrow frac{p}{1-p} frac{N^-}{N^+}>1$,基于贝叶斯分类;同时也可以将损失函数加权,给正样本损失更多关注) - 过采样 (增多正样本:样本复制; 样本插值; 样本生成(GAN)) - 欠采样 (多次随机抽取负样本,再融合,以防损失信息)

    Focal loss:(FL(p_t)=(1-p_t)^gamma log(p_t))

    • 自适应样本加权
    • 容易分类样本权重降低((p_t ightarrow 1 Rightarrow (1-p_t) ightarrow 0)
    • 促使分类器学习困难样本!

    级联分类器(Cascaded Classfier)人脸检测

    随机采样一致(Random Sample Consensus)

  • 相关阅读:
    MAX导致数据库超时
    mysql查询效率提高技巧
    微信回调报文解析, 获取请求体内容
    炖汤秘方
    首字母小写
    List分页
    HttpServletRequest通过InputStream获取参数
    github命令行
    mysql死锁
    分布式锁-redis
  • 原文地址:https://www.cnblogs.com/windsing/p/12421196.html
Copyright © 2020-2023  润新知