• 正规方程推导公式


    正规方程推导过程

    参考:https://blog.csdn.net/chenlin41204050/article/details/78220280

    多变量线性回归代价函数为:

    其中: 

    正规方程是通过求解下面的方程来找出使得代价函数最小的参数:

    设有m个训练实例,每个实例有n个特征,则训练实例集为:

     特征参数为:

    • 第二项:

    这里写图片描述 
    该矩阵求导为分母布局下的标量/向量形式: 
    故有, 
    这里写图片描述

    • 第三项:

    这里写图片描述 
    该矩阵求导为分母布局下的标量/向量形式: 
    故有: 
    这里写图片描述

    • 第四项:

    这里写图片描述 
    其中这里写图片描述为标量,可看成一个常数。 
    该矩阵求导为分母布局下的标量/向量形式: 
    故有: 
    这里写图片描述

    综上,正规方程为:

    这里写图片描述

    最终可得特征参数的表示:

    这里写图片描述

     
     
    梯度下降与正规方程的比较:

    梯度下降

    正规方程

    需要选择学习率

    不需要

    需要多次迭代

    一次运算得出

    当特征数量n大时也能较好适用

    需要计算如果特征数量n较大则运算代价大,因为矩阵逆的计算时间复杂度为  ,通常来说当n小于10000 时还是可以接受的

    适用于各种类型的模型

    只适用于线性模型,不适合逻辑回归模型等其他模型

    总结:

    只要特征变量的数目并不大,标准方程是一个很好的计算参数的替代方法。具体地说,只要特征变量数量小于一万,通常使用标准方程法,而不使用梯度下降法。

  • 相关阅读:
    做开发的童鞋应该都了解这几款软件
    给文件对比工具自定义快捷键的方法
    C/C++ 编程有哪些值得推荐的辅助工具
    如何用Beyond Compare修改对比文件颜色
    据说这些工具可以提高程序员的工作效率
    遇到Beyond Compare禁止编辑该怎么办
    BZOJ
    周三
    大总结
    周二上午
  • 原文地址:https://www.cnblogs.com/liunaiming/p/11957185.html
Copyright © 2020-2023  润新知