5.线性回归算法

1.本节重点知识点用自己的话总结出来，可以配上图片，以及说明该知识点的重要性

 回归和分类的区别：输出变量的类型（预测的目标函数是否连续）

• 定量输出称为回归，或者说是连续变量预测；
• 定性输出称为分类，或者说是离散变量预测。

总结：回归和分类的根本区别在于输出空间是否能为一个度量的空间。

对于回归问题：

　　输出的空间是一个可度量的空间。假如我买的早餐包是3块钱一个，同学猜是4块钱一个，那么这中间的误差值为1。当另一个同学猜是2块钱，误差值也是1，当同学猜包子是5块钱，那误差值就变为2。本质就是预测值与真实值之间的误差值度量。

对于分类问题：

　　输出的空间是一个不可度量的空间。在分类场景中，只有“正确”与“错误”之分，至于是将Class1分类为Class2还是Class3，这并没有区别，都是在error counter上+1。

线性回归常见的例子：

1. 房价预测
2. 销售额预测

矩阵：

• 矩阵必须是二维
• 矩阵满足了特殊的运算要求

1. 加法运算
2. 乘法运算
3. 单位矩阵

梯度下降：

　　在前面的博客已经写过其原理，此处不再赘述。

　　传送门：https://www.cnblogs.com/xiaolan-Lin/p/12681985.html#autoid-3-0-0

损失函数（误差的大小）：

　　经过反复迭代，越来越接近真实的值。

import matplotlib.pyplot as plt
import random

_xs = [0.1 * x for x in range(0, 10)]
_ys = [12 * i + 4 for i in _xs]
print(_xs)
print(_ys)

w = random.random()
b = random.random()
a1 = []
b1 = []

for i in range(100):
    for x, y in zip(_xs, _ys):
        o = w * x + b  # 预测值
        e = o - y
        loss = e ** 2
        dw = 2 * e * x
        db = 2 * e * 1
        w = w - 0.1 * dw
        b = b - 0.1 * db
        print("loss={0}, w={1}, b={2}".format(loss, w, b))
    a1.append(i)
    b1.append(loss)
    plt.plot(a1, b1)
    plt.pause(0.1)

plt.show()

当迭代次数为1时，结果如下：

当迭代次数为10时，结果如下：

当迭代次数为100时，结果如下：

 利用matplotlib画图，观察动态图形展示出的损失函数与迭代次数之间的关系：

 

2.思考线性回归算法可以用来做什么？（大家尽量不要写重复）

• 鲍鱼年龄预测

　　鲍鱼的优劣与其年龄有关，通常利用鲍鱼的生长纹确定它的年龄。人为数鲍鱼纹是一件很麻烦且耗时间的事，因此在现实生活中可以利用鲍鱼纹预测其年龄。

• 音乐流行趋势预测

　　音乐平台对流行音乐的趋势预测是基于平台用户对音乐者发行的歌曲的试听量的历史数据，挖掘出即将成为潮流的歌曲。

• 搜索引擎的搜索量和股价波动

　　上市公司在互联网中搜索量的变化，会显著影响公司股价的波动和趋势，即所谓的投资者注意力理论。该理论认为，公司在搜索引擎中的搜索量，代表了该股票被投资者关注的程度。因此，当一只股票的搜索频数增加时，说明投资者对该股票的关注度提升，从而使得该股票更容易被个人投资者购买，进一步地导致股票价格上升，带来正向的股票收益。

3.自主编写线性回归算法 ，数据可以自己造，或者从网上获取。（加分题）

import numpy as np
from scipy import stats
import matplotlib.pyplot as plt

'''构造训练数据 h(x) = thata0 * x0 + thata1 * x'''
x = np.arange(0., 10., 0.2)
m = len(x)
x0 = np.full(m, 1.0)
train_data = np.vstack([x0, x]).T  # 通过矩阵变化得到测试集 [x0 x1]
y = 4 * x + 1 + np.random.randn(m)  # 通过随机增减一定值构造'标准'答案 h(x)=4*x+1


def Bgd(alpha, loops, epsilon):
    '''
    [批量梯度下降]
    alpha:步长,
    loops:循环次数,
    epsilon:收敛精度
    '''
    count = 0  # loop的次数
    thata = np.random.randn(2)  # 随机thata向量初始的值,也就是随机起点位置
    err = np.zeros(2)  # 上次thata的值，初始为0向量
    finish = 0  # 完成标志位

    while count < loops:
        count += 1
        # 所有训练数据的期望更新一次thata
        sum = np.zeros(2)  # 初始化thata更新总和
        for i in range(m):
            cost = (np.dot(thata, train_data[i]) - y[i]) * train_data[i]
            sum += cost
        thata = thata - alpha * sum
        if np.linalg.norm(thata - err) < epsilon:  # 判断是否收敛
            finish = 1
            break
        else:
            err = thata  # 没有则将当前thata向量赋值给err,作为下次判断收敛的参数之一
    print(u'Bgd结果:	loop_counts: %d	thata[%f, %f]' % (count, thata[0], thata[1]))

    return thata


def Sgd(alpha, loops, epsilon):
    '''
    [增量梯度下降]
    alpha:步长,
    loops:循环次数,
    epsilon:收敛精度
    '''
    count = 0  # loop的次数
    thata = np.random.randn(2)  # 随机thata向量初始的值,也就是随机起点位置
    err = np.zeros(2)  # 上次thata的值，初始为0向量
    finish = 0  # 完成标志位

    while count < loops:
        count += 1
        # 每组训练数据都会更新thata
        for i in range(m):
            cost = (np.dot(thata, train_data[i]) - y[i]) * train_data[i]
            thata = thata - alpha * cost
        if np.linalg.norm(thata - err) < epsilon:  # 判断是否收敛
            finish = 1
            break
        else:
            err = thata  # 没有则将当前thata向量赋值给err,作为下次判断收敛的参数之一
    print(u'Sgd结果:	loop_counts: %d	thata[%f, %f]' % (count, thata[0], thata[1]))
    return thata


if __name__ == '__main__':
    # thata = Sgd(alpha=0.001, loops=10000, epsilon=1e-4)
    thata = Bgd(alpha=0.0005, loops=10000, epsilon=1e-4)

    # 将训练数据导入stats的线性回归算法，以作验证
    slope, intercept, r_value, p_value, slope_std_error = stats.linregress(x, y)
    print(u'Stats结果:	intercept(截距):%s	slope(斜率):%s' % (intercept, slope))

    plt.plot(x, y, 'k+')
    plt.plot(x, thata[1] * x + thata[0], 'r')
    plt.show()