• 数值计算


    数值计算

    上溢和下溢

    softmax函数

    [softmax(x_i) = frac{exp(x_i)}{sum_{j=1}^{n}exp(x_j)} ]

    差条件(poor conditioning)

    条件(conditioning)指的是函数在输入产生很小变化时自身所改变的速度。当函数变化非常迅速而它们的输入只是轻微扰动,那么这对于科学计算来说是有问题的,因为输入的rounding误差会导致输出发生很大的变化。

    网上的参考信息:对于一个线性方程Ax=b,当系数矩阵A一个很小的扰动只引起解向量x很小的扰动时,就称矩阵A是“良态”矩阵(well-conditioned matrix)。若系数矩阵A一个很小的扰动会引起解向量x很大的扰动,则称矩阵A是“病态”矩阵(ill-conditioned matrix)。条件数刻画了求解线性方程时,误差经过矩阵A的传播扩大为解向量的误差的程度,因此是衡量线性方程数值稳定性的一个重要指标。

    考虑函数(f(x)=A^{-1}x),当(A in Bbb{R}^{n imes n})有特征分解,它的条件数为:

    [max_{i,j} |frac{lambda_i}{lambda_j}| ]

    这是最大、最小特征值振幅的比例。当这个比例很大的时候,逆矩阵对输入误差非常敏感。

    这种敏感是矩阵自身内部的属性,而不是在矩阵求逆时rounding误差的结果。

    基于梯度的优化

    这部分内容参考优化器。

    • Jacobian Matrices和Hessian Matrices

    约束优化(constraint optimization)

    • KKT和通用拉格朗日函数

    Linear Least Squares

  • 相关阅读:
    AJPFX:如何保证对象唯一性呢?
    AJPFX关于this用法和注意事项
    AJPFX关于abstract的总结
    AJPFX区分this和super
    AJPFX关于java数组排序
    AJPFX关于异常和file类的总结
    AJPFX总结Java 类加载器
    优先级队列用法详解(priority_queue)
    子类中调用构造函数和析构函数的顺序
    strcpy,memcpy,memset函数实现
  • 原文地址:https://www.cnblogs.com/YoungF/p/14426014.html
Copyright © 2020-2023  润新知