主要内容:
线性回归
定义与问题引入
损失函数
梯度下降
过拟合与正则化
逻辑回归
定义与问题引入
损失函数
梯度下降与正则化
线性回归
有监督学习=>学习样本为D={(xi,yi)}Ni=1
多变量情形:
损失函数 loss function:
梯度下降:
其中α为步长,很大->震荡;很小->耗时太长
过拟合与欠拟合:
正则化:
逻辑回归
此图像和函数要记住:
简单的线性判定边界:
非线性判定边界:
损失函数:
这幅图说明这种损失函数不能得到想要的结果
因此采用该损失函数:
正则化:
上面公式是写在一起的损失函数,后面的是添加了正则化的函数。
梯度下降:
二分类和多分类问题:
很简单
算法应用经验:
七月在线学习笔记