梯度下降

1 算法简介

思考：我们给出一组房子面积，卧室数目以及对应房价数据，如何从数据中找到房价y与面积$x_1$和卧室数目$x_2$的关系？

为了实现监督学习，我们选择采用自变量$x_1$、$x_2$的线性函数来评估因变量y值，
得到：$h_{ heta} (x) = heta_0 + heta_1x_1 + heta_2x_2$
在公式中 $heta_1$和 $heta_2$分别代表自变量 x₁和 x₂的权重(weights)， ?₀代表偏移量。为了方便，我们将评估值写作h(x)，令x₀=1，则h(x)可以写作：$h(x) = displaystyle sum^{n}_{i=0}{ heta_ix_i = heta^Tx}$
其中n为输入样本数的数量。为了得到权重的值，我们需要令我们目前的样本数据评估出的h(x)尽可能的接近真实y值。这里我们定义误差函数(cost function)来表示h(x)和y值相接近的程度：
$J( heta) = frac{1}{2} displaystyle sum^{m}_{i=1}{(h_ heta(x^{(i)})-y^{(i)} )^2}$
这里的系数$frac{1}{2}$是为了后面求解偏导数时可以与系数相互抵消。我们的目的是要误差函数尽可能的小，即求解权重使误差函数尽可能小。

如上图所示，只要自变量x沿着负梯度的方向变化，就可以到达函数的最小值了，反之，如果沿着正梯度方向变化，就可以到达函数的最大值。 我们要求解J函数的最小值，那么就要求出每个 ?_?(?=0,1,2…?) 的梯度，由于梯度太大，可能会导致自变量沿着负梯度方向变化时，J的值出现震荡，而不是一直变小，所以在梯度的前面乘上一个很小的系数 ? （学习率），对初始化的系数进行更新：
$heta_j:= heta_j - alpha frac{partial}{partial heta_j}J( heta)$
梯度计算公式（即偏导数）：
$frac{partial}{partial heta_j}J( heta) = frac{partial}{partial heta_j}frac{1}{2}(h_{ heta}(x)-y)^2 ewline = 2·frac{1}{2}(h_{ heta}(x)-y)·frac{partial}{partial heta_j}(h_{ heta}(x)-y) ewline = (h_{ heta}(x)-y)·frac{partial}{partial heta_j}( displaystyle sum^{n}_{i=0}{ heta_ix_i-y}) ewline=(h_{ heta}(x)-y)x_j$
不断对系数进行更新，直至收敛（ ?_? 的值几乎不发生变化），公式中m为数据样本的组数，i为第i组数据：
最后得到的 ?_? 便是最终我们需要求解的线性方程的系数。

2 代码示例

首先先假设现在我们需要求解目标函数 ????(?)=?∗? 的极小值，由于func是一个凸函数，因此它唯一的极小值同时也是它的最小值，其一阶导函数为 ?????(?)=2∗?

%matplotlib inline

import numpy as np
import matplotlib.pyplot as plt

# 目标函数:y=x^2
def func(x):
    return np.square(x)


# 目标函数一阶导数也即是偏导数:dy/dx=2*x
def dfunc(x):
    return 2 * x

接下来编写梯度下降法函数：

# Gradient Descent
def GD(x_start, df, epochs, lr):
    """
    梯度下降法。给定起始点与目标函数的一阶导函数，求在epochs次迭代中x的更新值
    :param x_start: x的起始点
    :param df: 目标函数的一阶导函数
    :param epochs: 迭代周期
    :param lr: 学习率
    :return: x在每次迭代后的位置（包括起始点），长度为epochs+1
    """
    xs = np.zeros(epochs+1)
    x = x_start
    xs[0] = x
    for i in range(epochs):
        dx = df(x)
        # v表示x要改变的幅度
        v = - dx * lr
        x += v
        xs[i+1] = x
    return xs

在demo_GD中，我们直观地展示了如何利用梯度下降法的搜索过程：

def demo_GD():
    # 演示如何使用梯度下降法GD()
    line_x = np.linspace(-5, 5, 100)
    line_y = func(line_x)

    x_start = -6
    epochs = 6

    lr = 0.3
    x = GD(x_start, dfunc, epochs, lr=lr)

    color = 'g'
    plt.plot(line_x, line_y, c='y')
    plt.plot(x, func(x), c=color, label='lr={}'.format(lr))
    plt.scatter(x, func(x), c=color, )
    plt.legend()
    plt.show()
demo_GD()

运行效果如图所示：

从运行结果来看，当学习率为0.3的时候，迭代5个周期似乎便能得到不错的结果了。

**思考：**在上述函数中，改变学习率，会对拟合的结果造成怎样的结果？请同学们尝试着将学习率(lr)改为0.1，0.5，0.9,观察上图的变化。
学习率为0.1的运行界面：

学习率为0.5的运行界面：

学习率为0.9的运行界面：