• 导数、梯度和极值


    这三个概念有区别又有联系,首先先上定义。

    导数Derivative)是微积分学中重要的基础概念。

    一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。导数的一般定义如下:

    可见处的导数是趋向于零时候上式的极限。

    极限(Limit)它描述函数值在接近某一给定的自变量时的特征,定义如下:

    对于任意的,必存在一个,使得若,则,则称时的极限。

    下面看一个例子:

    求椭圆面在点(1,1,1)处的切平面及法线方程。

    解:

         切平面方程为

         即:

         法线方程为

    其中,的偏导数。

    再看形如之类的函数,求导得到,这就是切线的斜率,然后就得到了处的切线。

    不禁有人会问,这二者看似无关,都是求的导数,怎么一个是法向量一个是切线斜率,二者有什么联系吗?

    其实看导数的定义就可以知道,y=f(x)这类的函数的导数f'(x)是对x求导,故反应的是y的值随着x的变化率,比如y=x^2的导数为y=2x,说明y在x方向的变换速度是2x。

    如果把y=f(x)写成f(x)-y=0,这时偏导数为(f'(x), -1),切平面方程为,这里就能清楚的看出切平面方程其实是从二维推到N维的,所以能够反推回来。

    下面讲梯度这个问题,有个优化算法叫梯度下降算法,使每次优化迭代计算都按照最优的方向(额,下降时就是梯度的负方向)进行计算。首先能看出梯度应该是一个矢量,有大小有方向。那么什么是梯度呢,

    这里给出维基百科的解释:

    梯度(Gradient): 在向量微积分中,标量场的梯度是一个向量场。标量场中某一点的梯度指向在这点标量场增长最快的方向(当然要比较的话必须固定方向的长度),梯度的绝对值是长度为1的方向中函数最大的增加率,也就是说  ,其中代表方向导数。以另一观点来看,由多变数的泰勒展开式可知,从欧几里得空间Rn到R的函数的梯度是在Rn某一点最佳的线性近似。在这个意义上,梯度是雅可比矩阵的一个特殊情况。

    在单变量的实值函数的情况,梯度只是导数,或者,对于一个线性函数,也就是线的斜率。

    这句比较清楚,梯度在实值函数就是偏导数!一般来讲,求函数的极值会先去求导数,然后令导数等于零,这个点不一定是极值,但是一定是极值的必要条件,也就是说极值点的导数必为零。从定义不难看出,

    偏导数或导数反应的是函数在这一点附近的变化率,所以极值点附近(这里是无线近)的变换率应为零。

    通过上述可以知道,在实值函数里面,偏导数就是梯度,而且也是该点的法向量。

    (自己一点浅见,有问题欢迎指正)

  • 相关阅读:
    JS BOM对象 History对象 Location对象
    JS 字符串对象 数组对象 函数对象 函数作用域
    JS 引入方式 基本数据类型 运算符 控制语句 循环 异常
    Pycharm Html CSS JS 快捷方式创建元素
    CSS 内外边距 float positio属性
    CSS 颜色 字体 背景 文本 边框 列表 display属性
    【Android】RxJava的使用(三)转换——map、flatMap
    【Android】RxJava的使用(二)Action
    【Android】RxJava的使用(一)基本用法
    【Android】Retrofit 2.0 的使用
  • 原文地址:https://www.cnblogs.com/Kaivenblog/p/6542095.html
Copyright © 2020-2023  润新知