1、本节重点知识点用自己的话总结出来，可以配上图片，以及说明该知识点的重要性
（一）回归的分类和定义
定义：线性回归通过一个或多个自变量与因变量之间进行建模的回归方法，其中可以为一个或多个自变量之间的线性组合。
（二）线性回归的公式
当为一个变量时：
给定一些数据d，并且认为自变量x和因变量y直接存在一定的关系，
可以得到很多的函数集f，其中当a是合适的斜率，b是合适截距时，
这个函数f是最合适用来描述给定数据d中自变量与因变量关系的。
（三）损失函数和最小二乘法
但是y这条线不一定都经过给定的数据点，与实际的数据有偏差，因此会造成一定的损失，引入了损失函数，目的是将损失值减到最小。
损失函数：
m是数据点的个数
y是真实值，(ax+b)是预测值，其相减的值再平方是最小二乘法。
目标是找到系数a，b，使得损失函数尽可能的小。
当所有误差的平方和相加，得到的最小值，则损失最少，这个时候的a和b就是最合适的斜率和截距。
（四）梯度下降法
不断下降，得到全局最小值的一个近似值。所以对a(theta1)，b(theta0)求最小的偏导数时：
2.思考线性回归算法可以用来做什么？（大家尽量不要写重复）
在自动驾驶碰到障碍物的时候，根据障碍物的大小，障碍物的位置等等特征，预测轮子需要转动的角度是多少。
当电影上映后，可以根据其演员，评分等等对电影票房的预测。
3.自主编写线性回归算法 ，数据可以自己造，或者从网上获取。（加分题）
（一）编码实现线性回归算法
# 核心公式：y=wx+b import numpy as np import matplotlib.pyplot as plt #创建一个矩阵 data=np.array([ [0.067732,3.176513],[0.427810,3.816464],[0.995731,4.550095],[0.738336,4.256571],[0.981083,4.560815], [0.526171,3.929515],[0.378887,3.526170],[0.033859,3.156393],[0.132791,3.110301],[0.138306,3.149813], [0.247809,3.476346],[0.648270,4.119688],[0.731209,4.282233],[0.236833,3.486582],[0.969788,4.655492], [0.607492,3.965162],[0.358622,3.514900],[0.147846,3.125947],[0.637820,4.094115],[0.230372,3.476039], [0.070237,3.210610],[0.067154,3.190612],[0.925577,4.631504],[0.717733,4.295890],[0.015371,3.085028], [0.335070,3.448080],[0.040486,3.167440],[0.212575,3.364266],[0.617218,3.993482],[0.541196,3.891471] ]) x1=data[:,0] #取第一列数据作为x y1=data[:,1] #取第二列数据作为y plt.scatter(x1,y1,marker="o",color="red") plt.show() # 上面是载入数据并且画出数据的散点图 k=0 #斜率 b=0 #截距 iterations=500#迭代多少次 lr=0.05 #学习率 # 最小二乘法 def mincf(b,k,x_data,y_data): total=0 for i in range(len(x_data)): total=total+(y_data[i]-(k*x_data[i]+b))**2 #(y-(kx+b))**2 return total #线性回归算法 def linearhuigui(x_data,y_data,b,k,lr,iterations): m=float(len(x_data)) #数据个数 for i in range(iterations): #数据训练迭代次数 k_grad=0 b_grad=0 # 计算梯度总和再求平均 y=kx+b for j in range(len(x_data)): k_grad+=(1/m)*x_data[j]*(((k*x_data[j])+b)-y_data[j]) #(预测值-实际值)*x的实际值 b_grad+=-(1/m)*(y_data[j]-(k*x_data[j]+b)) #实际值-预测值 #更新b和k b=b-(lr*b_grad) k=k-(lr*k_grad) return b,k print("b={0},k={1},error={2}".format(b,k,mincf(b,k,x1,y1))) b,k=linearhuigui(x1,y1,b,k,lr,iterations) print("经过{0}次迭代后,b={1},k={2},error={3}".format(iterations,b,k,mincf(b,k,x1,y1))) #error是损失值 #画图 plt.scatter(x1,y1) plt.plot(x1,k*x1+b,'r') plt.show()
（二）直接使用sklearn的线性回归模型
from sklearn.linear_model import LinearRegression features=data[:,0].reshape(-1,1) target=data[:,1].reshape(-1,1) regression=LinearRegression() #构建模型 model=regression.fit(features,target) #模型训练 predicted = model.predict(features) #预测模型 print('系数: ',model.coef_) print('截距: ',model.intercept_) from sklearn.metrics import mean_squared_error #线性回归模型计算均方误差 print('数据线性回归模型的均方误差为：',mean_squared_error(features,target)) # 画图 plt.scatter(features, target, marker='x') plt.plot(features, predicted,c='r')
