琴生(jensen)不等式

jensen不等式

在Gan生成对抗神经网络中会用到jensen不等式，因此做下记录。

Jensen不等式告诉我们：如果$f$f是在区间$[a,b]$[a,b]上的凸函数（就是导数一直增长的函数，或者说是导数的导数大于0的函数），$x$x是随机变量，那么有：

$E\left(f\right(x\left)\right)\ge f\left(E\right(x\left)\right)$E(f(x))≥f(E(x))

也就是说函数$f$f的期望大于等于期望的函数。

下面来看看怎么证明，我们假设$x_1,x_2\mathrm{，}\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.}{x}_n$x1​,x2​，......xn​都是区间$[a,b]$[a,b]内的数，且$x_1\le x_2\le \mathrm{，}\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.}\le x_n$x1​≤x2​≤，......≤xn​，则上式可以写成下面这个形式：

$a_{1}f\left(x_1\right)+a_{2}f\left(x_2\right)+\dots \dots +a_{n}f\left(x_n\right)\ge f(a_1{x}_1+a_2{x}_2+\dots \dots +a_n{x}_n)$a1​f(x1​)+a2​f(x2​)+……+an​f(xn​)≥f(a1​x1​+a2​x2​+……+an​xn​)

其中

$\sum _{i=1}^n{a}_i=1\mathrm{且}{a}_i\>0$i=1∑n​ai​=1且ai​>0

当$n=1$n=1时，式子显然成立。

当$n=2$n=2时，可以构造一个式子如下：

$F\left(x\right)=a_{1}f\left(x_1\right)+(1-a_1)f\left(x\right)-f(a_1{x}_1+(1-a_1\left)x\right)$F(x)=a1​f(x1​)+(1−a1​)f(x)−f(a1​x1​+(1−a1​)x)

显然

$F\left(x_1\right)=a_{1}f\left(x_1\right)+(1-a_1)f\left(x_1\right)-f(a_1{x}_1+(1-a_1\left)x_1\right)=0$F(x1​)=a1​f(x1​)+(1−a1​)f(x1​)−f(a1​x1​+(1−a1​)x1​)=0

$F^{{}^{\mathrm{\prime }}}\left(x\right)=(1-a_1)f^{{}^{\mathrm{\prime }}}\left(x\right)-f^{{}^{\mathrm{\prime }}}[a_1{x}_1+(1-a_1\left)x\right](1-a_1)$F′(x)=(1−a1​)f′(x)−f′[a1​x1​+(1−a1​)x](1−a1​)

$=(1-a_1)\left(f^{{}^{\mathrm{\prime }}}\right(x)-f^{{}^{\mathrm{\prime }}}(a_1(x_1-x)+x)$=(1−a1​)(f′(x)−f′(a1​(x1​−x)+x)

由于是凸函数，当$x\&gt;x_1$x>x1​的时候，$a_1(x_1-x)+x\&lt;x$a1​(x1​−x)+x<x， 故$F^{{}^{\mathrm{\prime }}}\left(x\right)\&gt;0$F′(x)>0

等式成立。

假设$n=k$n=k的时候等式成立，即

$a_{1}f\left(x_1\right)+a_{2}f\left(x_2\right)+\dots \dots +a_{k}f\left(x_k\right)\ge f(a_1{x}_1+a_2{x}_2+\dots \dots +a_k{x}_k)\sum _{i=1}^n{a}_i=1\mathrm{且}{a}_i\&gt;0$a1​f(x1​)+a2​f(x2​)+……+ak​f(xk​)≥f(a1​x1​+a2​x2​+……+ak​xk​)i=1∑n​ai​=1且ai​>0

那么当$n=k+1$n=k+1时，有

$a_{1}f\left(x_1\right)+a_{2}f\left(x_2\right)+\dots \dots +a_{k}f\left(x_k\right)+a_{k+1}f\left(x_{k+1}\right)$a1​f(x1​)+a2​f(x2​)+……+ak​f(xk​)+ak+1​f(xk+1​)

$=(1-a_{k+1})\frac{1}{(1-a_{k+1})}[a_{1}f\left(x_1\right)+a_{2}f\left(x_2\right)+\dots \dots +a_{k}f\left(x_k\right)]+a_{k+1}f\left(x_{k+1}\right)$=(1−ak+1​)(1−ak+1​)1​[a1​f(x1​)+a2​f(x2​)+……+ak​f(xk​)]+ak+1​f(xk+1​)

这里有

$\frac{1}{(1-a_{k+1})}\sum _{i=1}^n{a}_i=1$(1−ak+1​)1​i=1∑n​ai​=1

故上式

$\ge (1-a_{k+1})f\left(\frac{a_1{x}_1+\dots a_k{x}_k}{1-a_{k+1}}\right)+a_{k+1}f\left(x_{k+1}\right)$≥(1−ak+1​)f(1−ak+1​a1​x1​+…ak​xk​​)+ak+1​f(xk+1​)

刚刚好满足$n=2$n=2时的情况，有

$\ge f(a_1{x}_1+a_2{x}_2+\dots \dots +a_k{x}_k+a_{k+1}{x}_{k+1})$≥f(a1​x1​+a2​x2​+……+ak​xk​+ak+1​xk+1​)

等式成立！而且从证明的过程我们也可以看出，等于号只有在$x_1,x_2\mathrm{，}\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.}\mathrm{.}{x}_n$x1​,x2​，......xn​都相等的情况下才能取得。

相关阅读