「fid」如何评价GAN网络的好坏？IS（inception score）和FID（Fréchet Inception Distance）

fid

值得一看，总结了IS和FID的历史发展

原文地址

在对抗生成网络中，判别器和生成器的目标函数通常都是用来衡量它们各自做的怎么样的。例如，生成器的目标函数用来衡量生成的图片能骗过分类器的性能。

但是这并不能很好的衡量生成图片的质量和多样性。

通常，我们使用IS（inception score）和FID（Fréchet Inception distance）这两个指标来评价不同的GAN模型。

IS用来衡量GAN网络的两个指标：

1. 生成图片的质量和

2. 多样性

熵（entropy）可以用来描述随机性：如果一个随机变量是高度可预测的，那么它就有较低的熵；相反，如果它是高度不可预测，那么它就用较高的熵。

如下图，我们有两个概率分布， $p_{2} p_2$ p2 比 $p_{1} p_1$ p1 有更高的熵值，因为 $p_{2} p_2$ p2 是一个均匀分布，我们很难预测 $x x$ x 的值。

在这里插入图片描述

在GAN中，我们希望条件概率 $P (y ∣ x) P(y|x)$ P(y∣x) 可以被高度预测（ $x x$ x 表示给定的图片， $y y$ y 表示这个图片包含的主要物体，看到后面你会更加清楚这个概率是什么意思），也就是希望它的熵值较低。例如，给定一个图片，我们很容易的知道其中包含什么物体。

因此，我们使用inception network（可以理解这是一个固定的分类网络）来对生成的图像进行分类。（这里都是针对ImageNet数据集而言）然后预测 $P (y ∣ x) P(y|x)$ P(y∣x)，这里的 $y y$ y 就是标签。用这个概率来反应图片的质量。

简单来说，假如inception network能够以较高的概率预测图片中包含的物体，也就是有很高的把握对其进行正确分类，这就说明图片质量较高。相反，比如我们人眼并无法看出这张图片是什么，就说明这个图片质量不高。当然这里的人是我改的。

综上，我们知道概率 $P (y ∣ x) P(y|x)$ P(y∣x) 代表了图片的质量，概率越大，质量则越高。接下来说说如何评价多样性。

我们用下面的公式计算边缘概率：

$\int_{z} p (y ∣ x = G (z)) d z \int_z{p(y|x=G(z))}dz$ ∫zp(y∣x=G(z))dz

$G (z) G(z)$ G(z) 就是生成器用噪声 $z z$ z 得到的输出图像。

如果生成的图像多样化很好，那么预测的标签 $y y$ y 的分布则会有较高的熵，因为数量多了，我们就能准确预测 $y y$ y 的结果就更难。

下图就表现了这样的概念：

在这里插入图片描述

为了综合两个指标，我们使用KL-pergence 并用下面的公式计算得到IS的值：

$I S (G) = e^{E_{x \in p} D_{K L} (p (y ∣ x) ∣ ∣ p (y))} IS(G)=e^{E_{x\in{p}}D_{KL}(p(y|x)||p(y))}$ IS(G)=eEx∈pDKL(p(y∣x)∣∣p(y))

其中 $D_{K L} D_{KL}$ DKL 就是KL-pergence的计算公式。

补充：如何计算KL-pergence链接

IS缺点：当只产生一种物体的图像时，我们仍会认为这是均匀分布，而导致评价不正确。当模型坍塌时，结果就可能产生同样的图片。

在IS中，我们使用inception network对生成的图像进行预测分类，但是在FID中我们用相同的inception network来提取中间层的特征。然后我们使用一个均值为 $μ \mu$ μ 方差为 $Σ \Sigma$ Σ 的正态分布去模拟这些特征的分布。

我们使用这样的公式来计算FID：

在这里插入图片描述

公式中， $T r Tr$ Tr 表示矩阵对角线上元素的总和，矩阵论中俗称“迹”（trace）

较低的FID意味着较高图片的质量和多样性。

FID对模型坍塌更加敏感。相比较IS来说，FID对噪声有更好的鲁棒性。因为假如只有一种图片时，FID这个距离将会相当的高。因此，FID更适合描述GAN网络的多样性。

同样的，FID和IS都是基于特征提取，也就是依赖于某些特征的出现或者不出现。但是他们都无法描述这些特征的空间关系。如下图：

这里我们我们人不会认为这是一张好的人脸图片。但是根据FID和IS，他们就是一个很好的人脸图片。因为它有人脸必要的特征，虽然这些特征的空间关系不好。

为什么使用KL-pergence 和 FID这样的计算方法就能够评价，这是数学上的一些知识，还有待进一步探讨。