• 琴生不等式


    参考资料:360百科、概率统计

    琴生不等式,又名詹森(Jensen)不等式。

    在机器学习中对凸函数的定义不同于以往在数学中接触的凹函数定义,我们把类似碗形的函数称之为凸函数,类似拱形的函数称之为凹函数。如下图所示:

    定义

    如果函数f(x)满足对定义域上任意两个x1、x2都有(f(x1)+f(x2))/2>=f((x1+x2)/2),那么f(x)为凸函数,或下凹函数。

    拓展定义

    设f(x)为凸函数,则f[(x1+x2+……+xn)/n]≤[f(x1)+f(x2)+……+f(xn)]/n(下凸);设f(x)为凹函数,f[(x1+x2+……+xn)/n]≥f(x1)+f(x2)+……+f(xn)]/n(上凸),称为琴生不等式。

    如果上面凹凸是严格的,那么不等式的等号只有x1=x2=...=xn才成立。

    加权形式为:

    f[(a1*x1+a2*x2+……+an*xn)]≤a1f(x1)+a2f(x2)+……+anf(xn)(下凸);

    f[(a1*x1+a2*x2+……+an*xn)]≥a1f(x1)+a2f(x2)+……+anf(xn)(上凸),

    其中

    ai≥0(i=1,2,……,n),且a1+a2+……+an=1。

    关于琴生不等式的结论

    如果f(x)二阶可导,而且f''(x)≥0,那么f(x)是下凸函数(凸函数);

    如果f(x)二阶可导,而且f''(x)≤0,那么f(x)是上凸函数(凹函数)。

    公式应用

    (x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t,(t>1时);

    (x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t,(0<t<1时);

    取f(x) = x^t。

    ((x1+x2+...+xn)/n)^n>=x1*x2*...*xn,取f(x)=log(x)。

  • 相关阅读:
    动态SQL和PL/SQL的EXECUTE选项分析
    PL/SQL开发中动态SQL的使用方法
    windows 快捷调用
    Windows PE 工具
    面向对象(OOP)五大基本原则
    图像几何变换(geometric transformation)
    BP神经网络模型及梯度下降法
    人工神经元模型及常见激活函数
    Python: PS 滤镜--高反差保留 (High pass)
    Python: PS 滤镜--碎片特效
  • 原文地址:https://www.cnblogs.com/tgycoder/p/6164541.html
Copyright © 2020-2023  润新知