• 10种经典统计方法总结


    方法 适用问题 模型特点 模型类型 学习策略 学习的损失函数 学习算法 注意事项
    感知机 二类分类 分离超平面

     判别模型

    极小化误分点到超平面距离

     误分点到超平面的距离

    随机梯度下降

     对偶解法(Gram矩阵)

    k近邻法

    多类分类,

    回归

    特征空间,

    样本点

     判别模型

         

    三要素:

    1、距离度量:曼哈顿和欧氏距离

    2、k值选取:(估计误差和近似误差),交叉验证求最优

    3、分类决策:多数表决

    kd树(构造和搜索,适用于训练实例远大于空间维数)

    朴素贝叶斯法 多类分类

    特征与类别的联合概率布,条件独立解释

     生成模型

     (学习联合概率,求条件概率)

    极大似然估计(参数估计),

    极大后验概率估计

     对数似然损失

    概率计算公式,

     EM算法

     (0-1损失函数)期望风险最小化就是后验概率最大化

     概率估计:极大似然估计或贝叶斯估计(拉普拉斯平滑)

    决策树  

    多类分类,

    回归

    分类树,回归树

     判别模型

    正则化的极大似然估计  对数似然损失

    特征选择,生成,

    剪枝

     if-then规则:互斥并且完备

     启发式学习,得出次最优

     生成:局部最优;剪枝:全局最优

      特征选择(生成) 剪枝
    ID3

     信息增益

      (经验熵-经验条件熵)

     C(T)是信息增益,T为叶节点数

    C4.5

     信息增益比

    (解决偏向取值较 多的特征问题)

     

     C(T)是信息增益比

    CART

     分类:基尼系数

     回归:平方误差

     分类:

     C(T)是基尼系数

    整体损失函数减少的程度

    递归减去最小的g(t)

    逻辑斯蒂回归

    和最大熵模型

    多类分类 

    特征条件下类别的条件

    概率分布,对数线性模型 

     判别模型

    极大似然估计,

    正则化的极大似然估计

     逻辑斯蒂损失

     二项:

    改进的迭代尺度算法,

    梯度下降,

    拟牛顿法

     还差最大熵模型
    支持向量机 二类分类 分离超平面,核技巧

     判别模型

     线性:

      

     非线性(核):

     

    极小化正则化合页函数

    软间隔最大化

     合页损失 序列最小最优化SMO算法(解决大样本下以往算法效率低的问题)

     凸优化问题是指约束最优化问题,最大分离间隔可化为凸二次规划问题

     学习的对偶算法:拉格朗日对偶性

     KKT条件:对偶问题和原始问题同最优化解

     软间隔就是允许异常值的间隔

     感知机的损失函数的右平移是合页函数

     常用核:多项式核,高斯核

     SMO:启发式算法,第一个变量a1是违反KKT最严重的样本点,

                                第二个变量a2是使其变化足够大的点

    提升方法 二类分类 弱分类器的线性组合

     判别模型

    极小化加法模型的指数损失  指数损失 前向分步加法算法

     AdaBoost:

     系数am:误差越大的分类器,权值am越小

     系数wm: 误分类的样本的权值wm 加大,正确分类的wm减少

     GBDT:

     回归树:平方损失(残差),指数损失,梯度提升(针对一般的损失函数)

    EM算法 概率模型参数估计 含隐变量概率模型  

    极大似然估计

    极大后验概率估计

     对数似然损失 迭代算法

    不同初值可能得到不同的参数估计

    EM算法是不断求下界的极大化逼近求解对数似然函数极大化的算法,不能保证收敛到全局最优

    高斯混合模型的EM算法

    E步:Q函数-完全数据的期望

     

    M步:极大化Q函数

     

    隐马尔可夫HMM 标注 观测序列与状态序列的联合概率分布模型

    生成模型

    时序模型

    极大似然估计

    极大似然后验概率估计

     对数似然损失

    概率计算公式

    EM算法

     隐马尔可夫三要素λ=(A,B,∏)

     两个假设:齐次马尔可夫和观测独立

     概率计算:直接计算和前后向算法

     学习问题(参数估计):监督学习法和非监督Baum-Welch算法(EM算法实现)

     预测问题(求状态序列):近似算法和维特比算法(动态规划)

    条件随机场CRF 标注 状态序列条件下观测序列的条件概率分布,对数线性模型  判别模型 极大似然估计,正则化极大似然估计   对数似然损失 改进的迭代尺度算法,梯度下降,拟牛顿法   
  • 相关阅读:
    【机器学习】关联规则挖掘(二):频繁模式树FP-growth
    【机器学习】关联规则分析(一):Apriori
    【机器学习】聚类算法——K均值算法(k-means)
    【机器学习】分类器组合——AdaBoost
    tensorflow 中 Cross Entropy算法理解
    修改文件夹中的文件名
    poj 2635
    噪音样本
    流量录制回放助力接口自动化测试
    git
  • 原文地址:https://www.cnblogs.com/hotsnow/p/9554642.html
Copyright © 2020-2023  润新知