统计学习方法笔记---1201、统计学习方法总结
一、总结
一句话总结:
本书共介绍了10种主要的统计学习方法:【感知机】、【k近邻法】、【朴素贝叶斯法】、【决策树】、【逻辑斯谛回归与最大熵模型】、【支持向量机】、【提升方法】、【EM算法】、【隐马尔可夫模型】和【条件随机场】.
1、10种统计学习方法特点的概括总结(1:【感知机】;2:【k近邻法】;3:【朴素贝叶斯法】)?
1:【感知机】;适用问题:【二类分类】;模型特点:【分离超平面】;模型类型:【判别模型】;学习策略:【极小化误分点到超平面距离】;学习的损失函数:【误分点到超平面距离】;学习算法:【随机梯度下降】
2:【k近邻法】;适用问题:【多类分类,回归】;模型特点:【特征空间,样本点】;模型类型:【判别模型】
3:【朴素贝叶斯法】;适用问题:【多类分类】;模型特点:【特征与类别的联合概率分布,条件独立假设】;模型类型:【生成模型】;学习策略:【极大似然估计,极大后验概率估计】;学习的损失函数:【对数似然损失】;学习算法:【概率计算公式,EM算法】
2、10种统计学习方法特点的概括总结(4:【决策树】;5:【逻辑斯谛回归与最大熵模型】)?
4:【决策树】;适用问题:【多类分类,回归】;模型特点:【分类树,回归树】;模型类型:【判别模型】;学习策略:【正则化的极大似然估计】;学习的损失函数:【对数似然损失】;学习算法:【特征选择,生成,剪枝】
5:【逻辑斯谛回归与最大熵模型】;适用问题:【多类分类】;模型特点:【特征条件下类别的条件概率分布,对数线形模型】;模型类型:【判别模型】;学习策略:【极大似然估计,正则化的极大似然估计】;学习的损失函数:【逻辑斯谛损失】;学习算法:【改进的迭代尺度算法,梯度下降,拟牛顿法】
3、10种统计学习方法特点的概括总结(6:【支持向量机】;7:【提升方法】;8:【EM算法】)?
6:【支持向量机】;适用问题:【二类分类】;模型特点:【分离超平面,核技巧】;模型类型:【判别模型】;学习策略:【极小化正则化合页损失,软间隔最大化】;学习的损失函数:【合页损失】;学习算法:【序列最小最优化算法(SMO)】
7:【提升方法】;适用问题:【二类分类】;模型特点:【弱分类器的线性组合】;模型类型:【判别模型】;学习策略:【极小化加法模型的指数损失】;学习的损失函数:【指数损失】;学习算法:【前向分步加法算法】
8:【EM算法】;适用问题:【概率模型参数估计】;模型特点:【含隐变量概率模型】;学习策略:【极大似然估计,极大后验概率估计】;学习的损失函数:【对数似然损失】;学习算法:【迭代算法】
4、10种统计学习方法特点的概括总结(9:【隐马尔可夫模型】;10:【条件随机场】)?
9:【隐马尔可夫模型】;适用问题:【标注】;模型特点:【观测序列与状态序列的联合概率分布模型】;模型类型:【生成模型】;学习策略:【极大似然估计,极大后验概率佔估计】;学习的损失函数:【对数似然损失】;学习算法:【概率计算公式,EM算法】
10:【条件随机场】;适用问题:【标注】;模型特点:【状态序列条件下观测序列的条件概率分布,对数线性模型】;模型类型:【判别模型】;学习策略:【极大似然估计,正则化极大似然估计】;学习的损失函数:【对数似然损失】;学习算法:【改进的迭代尺度算法,梯度下降,拟牛顿法】
二、内容在总结中
博客对应课程的视频位置: