理解
特点
作用
最小化一个损失函数
最大化一个效用函数:梯度上升法
随机梯度下降法
以单个数据作为梯度下降的依据
优点
批量梯度下降法
以整体数据作为每次梯度下降的方向的根据
小批量梯度下降法
以K个数据作为梯度下降的依据
故事
用损失函数做一个滑梯或者一个碗,定义一个重力方向,让他朝下,放一个小球让他滚动,最后记录他的位置和小球的高度,整个碗可能有几个洼,所以要重复多次放球
随机梯度下降法
整个数据就是一个碗,抽取其中以个数据就相当于在碗里面找一条滑梯
超参数
n_iters
需要坐遍滑梯多少轮
批量梯度下降法
构造出整个碗
小批量梯度下降法
留缝的碗