• 梯度下降法与方向导数


    from https://www.zhihu.com/question/30672734

    下面从梯度与方向导数的关系来解释:

    1 方向导数

    • 引入

    原来我们学到的偏导数指的是多元函数沿坐标轴的变化率,但是我们往往很多时候要考虑多元函数沿任意方向的变化率,那么就引出了方向导数

    • 定义

    (1)方向导数是个数值。

    二维空间情形:


    我们把f(x+Dx,y+Dy)-f(x,y)的值Value1与PP1的距离value2的比值的极值叫做沿PP1的方向导数。

    三维空间计算过程相似;


    换句话来说,方向导数就是研究在某一点处的任意方向的变化率~

    2 梯度

    首先我来说,梯度是一个向量,并不是原来方向导数说的那样是一个数,那么这个向量是什么特殊的向量呢?还需要拿出来单独研究,那就是梯度代表的是各个导数中,变化趋势最大的那个方向,下面来介绍~

      • 定义

    • 证明

      梯度方向就是方向导数最大的方向,我们看如下:

    • 只有当Θ为0度的时候(cos	heta =1),方向导数最大(左边的式子),也就是说方向导数什么情况下最大,就是它的方向(cosalpha ,coseta )(这个方向公式中表示用x,y轴的线性组合表示了)和梯度方向一样((f_{x}(x_{0},y_{0}),f_{y}(x_{0},y_{0}) ))(平行)的时候,这个方向导数是最大的....换句话也可以说,方向导数任意方向一定有个变化率最大的方向,这个时候,我们把这个最大的方向定义为梯度方向~



    作者:忆臻
    链接:https://www.zhihu.com/question/30672734/answer/139402480
    来源:知乎
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

  • 相关阅读:
    在应用程序级别之外使用注册为 allowDefinition='MachineToApplication' 的节是错误的……
    VS 扩展管理器,方便的插件
    VUE CLI中使用Jquery无法获取到dom节点
    Navicat 连接SQL Server LocalDB的方法
    修改cas登陆页面服务器端
    easyui tree 拖拽功能并将数据返回后台保存至数据库
    RedHat下GCC及G++的安装
    Java中的字符串池
    Java内存泄露
    TSQL字符转义
  • 原文地址:https://www.cnblogs.com/mdumpling/p/8625558.html
Copyright © 2020-2023  润新知