• KKT条件(不等式约束优化)


    当约束加上不等式之后,情况变得更加复杂,首先来看一个简单的情况,给定如下不等式约束问题:

     对应的 Lagrangian 与图形分别如下所示:

     这时的可行解必须落在约束区域 g(x)之内,下图给出了目标函数的等高线与约束:

    由图可见可行解 x 只能在 g(x)<0 或者 g(x)=0  的区域里取得:

    • 当可行解 x 落在 g(x)<0的区域内,此时直接极小化 f(x) 即可;
    • 当可行解 x 落在 g(x)=0 即边界上,此时等价于等式约束优化问题.

    当约束区域包含目标函数原有的的可行解时,此时加上约束可行解扔落在约束区域内部,对应 g(x)<0 的情况,这时约束条件不起作用;当约束区域不包含目标函数原有的可行解时,此时加上约束后可行解落在边界 g(x)=0 上。下图分别描述了两种情况,右图表示加上约束可行解会落在约束区域的边界上。

    以上两种情况就是说,要么可行解落在约束区域内部(此时约束不起作用,另 λ=0 消去约束即可),要么可行解落在约束边界上即得 g(x)=0 ,所以无论哪种情况都会得到:

    λg(x)=0

    还有一个问题是 λ 的取值,在等式约束优化中,约束函数与目标函数的梯度只要满足平行即可,而在不等式约束中则不然,若 λ≠0,这便说明可行解 x 是落在约束区域的边界上的,这时可行解应尽量靠近无约束时的解,所以在约束边界上,目标函数的负梯度方向应该远离约束区域朝向无约束时的解,此时正好可得约束函数的梯度方向与目标函数的负梯度方向应相同,下图可看出:

    −∇xf(x)=λ∇xg(x)

    上式需要满足的要求是拉格朗日乘子 λ>0 

    可见对于不等式约束,只要满足一定的条件,依然可以使用拉格朗日乘子法解决,这里的条件便是 KKT 条件。接下来给出形式化的 KKT 条件 首先给出形式化的不等式约束优化问题:

    minx f(x)
    s.t. hi(x)=0, i=1,2,...,m
    gj(x)≤0, j=1,2,...,n

    列出 Lagrangian 得到无约束优化问题:

    经过之前的分析,便得知加上不等式约束后可行解 x 需要满足的就是以下的 KKT 条件:

    满足 KKT 条件后极小化 Lagrangian 即可得到在不等式约束条件下的可行解。 KKT 条件看起来很多,其实很好理解:

    (1) :拉格朗日取得可行解的必要条件;

    (2) :这就是以上分析的一个比较有意思的约束,称作松弛互补条件;

    (3) ∼ (4) :初始的约束条件;

    (5) :不等式约束的 Lagrange Multiplier 需满足的条件。

    主要的KKT条件便是 (3) 和 (5) ,只要满足这俩个条件便可直接用拉格朗日乘子法,

    为方便表示,举个简单的例子:

    现有如下不等式约束优化问题:

     此时引入松弛变量可以将不等式约束变成等式约束。设a1和b1为两个松弛变量,则上述的不等式约束可写为:

     则该问题的拉格朗日函数为:

     根据拉格朗日乘子法,求解方程组:

     

     则 

    同样 u2b1=0,来分析g2(x)起作用和不起作用约束。

    于是推出条件:

     

     

  • 相关阅读:
    Eclipse consle 输出语句中,误输中文,假死问题
    Eclipse 快捷键 (最实用)
    mysql 4种启动方式
    mysql索引的类型和优缺点
    Windows上 使用Composer安装tp5
    php 更新配置文件
    可视化工具连接Linux上的redis
    HttpClient 4 教程 第3章 HTTP状态管理
    HttpClient 4 教程 第2章 连接管理
    HttpClient 4 教程 第1章 基础
  • 原文地址:https://www.cnblogs.com/zhjblogs/p/16246398.html
Copyright © 2020-2023  润新知