一、概述
在1947年，Dantzig提出求解一般线性规划问题的单纯形法之后。现在，解线性规划、非线性规划以及随机规划、非光滑规划、多目标规划、几何规划、整数规划等各种最优化问题的理论的研究发展迅速。
最优化问题的一般形式为：
X属于Rn为约束集或可行域，f(x)是目标函数，x属于Rn是决策变量。特别地，约束集X=Rn ,则最优化问题成为无约束最优化问题：
对于约束最优化问题通常写为
这里，E和I分别是等式约束的指标集合不等式约束的指标集，ci是约束函数。当目标函数和约束函数均为线性函数时。问题称为线性规划。当目标函数和约束函数中至少有一个是变量x的非线性函数时，问题称为非线性规划。
除此之外，根据决策变量、目标函数和要求的不同，最优化还分成整数规划、动态规划、网络规划、非光滑规划、随机规划、几何规划、多目标规划等若干分支。
本文主要研究求解无约束最优化问题和约束最优化问题。
二、半范数和范数定义
半范数：
范数：
三、向量范数和矩阵范数
（1）向量范数
（2）矩阵向量
（i） 类似于向量范数的定义，可以定义矩阵范数。设A为Rn×n,其诱导矩阵范数定义为：
诱导矩阵范数的两个性质：
（ii）Frobenius范数及其它
