数值计算
上溢和下溢
softmax函数
[softmax(x_i) = frac{exp(x_i)}{sum_{j=1}^{n}exp(x_j)}
]
差条件(poor conditioning)
条件(conditioning)指的是函数在输入产生很小变化时自身所改变的速度。当函数变化非常迅速而它们的输入只是轻微扰动,那么这对于科学计算来说是有问题的,因为输入的rounding误差会导致输出发生很大的变化。
网上的参考信息:对于一个线性方程Ax=b,当系数矩阵A一个很小的扰动只引起解向量x很小的扰动时,就称矩阵A是“良态”矩阵(well-conditioned matrix)。若系数矩阵A一个很小的扰动会引起解向量x很大的扰动,则称矩阵A是“病态”矩阵(ill-conditioned matrix)。条件数刻画了求解线性方程时,误差经过矩阵A的传播扩大为解向量的误差的程度,因此是衡量线性方程数值稳定性的一个重要指标。
考虑函数(f(x)=A^{-1}x),当(A in Bbb{R}^{n imes n})有特征分解,它的条件数为:
[max_{i,j} |frac{lambda_i}{lambda_j}|
]
这是最大、最小特征值振幅的比例。当这个比例很大的时候,逆矩阵对输入误差非常敏感。
这种敏感是矩阵自身内部的属性,而不是在矩阵求逆时rounding误差的结果。
基于梯度的优化
这部分内容参考优化器。
- Jacobian Matrices和Hessian Matrices
约束优化(constraint optimization)
- KKT和通用拉格朗日函数
Linear Least Squares
略