fGAN--任意散度GAN

fGAN的基本想法就是希望用不同的散度来取代JS散度

使得任何divergence都可以应用到GAN的框架中

f-divergence ：$D_f(P||Q)={\int }_{x}q(x)f(\frac{p(x)}{q(x)})dx$

$f$函数需满足当$x=1$时 $f(x)=0$ 且$f$是$convex$

这个式子可以衡量分布P和Q的差异

若P分布和Q分布相同，则$D_f(P||Q)={\int }_{x}f(1)dx=0$

当P分布与Q分布不同时，$D_f(P||Q)={\int }_{x}q(x)f(\frac{p(x)}{q(x)})dx\ge f({\in }_{x}q(x)\frac{p(x)}{q(x)})=f(1)=0$

(这里的积分大于等于是因为$f$是$convex$)

当$f(x)=xlogx$时

$D_f(P||Q)={\int }_x\frac{p(x)}{q(x)}log(\frac{p(x)}{q(x)})={\int }_{x}p(x)log(\frac{p(x)}{q(x)})=D_{KL}(P||Q)$

当$f(x)=-logx$时

$D_f(P||Q)=D_{KL}(Q||P)$，即$ReverseKL$

共轭函数(Fenchel Conjugate)：

每个convex function $f$，都有一个conjugate function $f^{\ast }$

$f^{\ast }(t)=ma{x}_{x\in dom(f)}xt-f(x)$

即$f(t_1)$是$x{t}_1-f(x)$对$x$的任意取值取得的最大值

我们将x取不同值的$xt-f(x)$直线画出来

取每一段位置的upperbound就是f的Fenchel Conjugate

比如$xlogx$的Fenchel Conjugate就是$f^{\ast }(t)=exp(t-1)$

$f^{\ast }(t)=ma{x}_{x\in dom(f)}xt-f(x)$

$g(x)=xt-xlogx$

现在给定t要使得$g(x)$最大

prove:

$t-logx-1=0$

$x=\exp (t-1)$

$f^{\ast }(t)=\exp (t-1)\cdot t-\exp (t-1)\cdot (t-1)=\exp (t-1)$

得证

因为$f$和$f^{\ast }$是共轭函数

所以$f^{\ast }(t)=ma{x}_{x\in dom(f)}xt-f(x)$

可以转化为$f(x)=maxxt-f^{\ast }(t)$

$t\in dom(f^{\ast })$

$D_f(P||Q)={\int }_{x}q(x)f(\frac{p(x)}{q(x)})dx$

$={\int }_{x}q(x)(max\frac{p(x)}{q(x)}t-f^{\ast }(t))dx$

$D_f(P||Q)\ge {\int }_{x}q(x)(\frac{p(x)}{q(x)}D(x)-f^{\ast }(D(x)))dx$

$={\int }_{x}p(x)D(x)dx-{\int }_{x}q(x)f^{\ast }(D(x))dx$

所以说我们只要找一个$D(x)$输出为$t$

只要其能逼近$t$，那么这个式子就能逼近$x-divergence$

$D_f(P||Q)$

$\approx ma{x}_D{\int }_{x}p(x)D(x)dx-{\int }_{x}q(x)f^{\ast }(D(x))dx$

$=ma{x}_D{E}_{x\sim P}[D(x)]-E_{x\sim Q}[f^{\ast }(D(x))]$

$G^{\ast }=argmi{n}_G{D}_f(P_{data}||P_G)$

$=argmi{n}_{G}ma{x}_D{E}_{x\sim P_{data}}[D(x)]-E_{x\sim P_G}[f^{\ast }(D(x)]$

那么只要得到f的共轭函数，我们就能构造出一个对应的GAN

在GAN的训练中通常会碰到以下两个问题：

Mode Collapse：训练到最后可能生成结果中同一张人脸会反复出现

Mode Dropping：Generator switches mode during training(比如第t次迭代全是黄皮肤，t+1次全是白皮肤，t+2次全是黑皮肤)

不同的divergence测试说明了这两个问题和JS-divergence无关