数据挖掘实践（3）：基础理论（三）数学基础（三）向量与矩阵（三）最⼩⼆乘法（一）解析

1 最⼩⼆乘法

举个例⼦：

这⾥有5把尺⼦现在⽤它们来分别测量⼀线段的⻓度得到的数值分别为：

考虑出现这种情况的原因：

不同⼚家的尺⼦的⽣产精度不同

尺⼦材质不同，热胀冷缩不⼀样

测量的时候⼼情不好

这种情况下，⼀般取平均值来作为线段的⻓度：

学术爱好者的问题：

这样做有道理吗？

⽤调和平均数⾏不⾏？

⽤中位数⾏不⾏？

⽤⼏何平均数⾏不⾏？

换⼀种思路来思考：

⾸先，把测得到的值画在笛卡尔坐标系中，分别记作

其次，把要猜测的线段⻓度的真实值⽤平⾏于横轴的直线来表示（因为是猜测的，所以⽤虚线来画）计

 

然后，每个点都向 做垂线，垂线的⻓度就是，也可以理解为预测值和真实值之间的误差：

 

因为误差是⻓度，还要取绝对值，计算起来麻烦，我们⽤平⽅来代表误差：

误差平⽅和就是：

当y的值不断变换的时候：

2 核⼼：

求解未知参数，使得测量值与真实值之差（误差、残差）的平⽅和达到最⼩（损失函数达到最⼩）。

3 ⽬标函数：

4 ⽬的：求最⼩值 

5 解法：

1. 列出⽬标函数E（损失函数），此时的预测值⽤来表示。

2. 求损失函数关于参数的导数，使导数为0，代表损失函数最⼩。

3. 此时的参数即为我们所求未知解的参数。

6 求解过程：

⾸先明确⼀下向量和矩阵的导数:

⼀个条件 ：要满⾜正定矩阵

第⼀步

第⼆步

第三步