机器学习：MixMatch 论文解读

　

mixmatch

最近谷歌出了一篇有关半监督学习的 paper，几乎可以说是到目前为止，半监督学习领域的集大成者了，在常用的数据集上，取得了非常惊人的效果。这篇 paper，基本把之前半监督学习领域，有用的方式方法都尝试了一下，然后组合出了一个更为有效的方法。

这篇文章的名称叫做 MixMatch: A Holistic APProach to Semi-Supervised Learning

想解决的也是半监督学习的问题，半监督学习，就是为了解决标注数据不够的情况，标签不够，那无标签的数据也可以用上，至少从目前学术界的成功来看，在同分布的数据集上，这些效果都还是不错的。

言归正传，看看这篇 paper，都有什么 trick 深藏其中，不过这篇 paper，还是比较厚道的，把每个 trick 的影响都做了对比实验，paper 里也给出了对比实验结果。

当然，一开始都是讲情怀的了，说明半监督学习的必要性与重要性。

作者也说了，目前半监督学习的几种方法：一个是熵最小化，也就是说，尽可能让模型对无标签样本的预测置信度高；另外一个是，连续性，当样本出现扰动的时候，模型的输出还是非常的 robust；还有一个是泛化能力，模型应该有很好的泛化能力。

这篇 paper，作者主要抓住了两点，一个是熵最小化，一个是连续性。熵最小化，文章里提出了一种对数据做增广，用模型预测，取平均，然后再做一个 sharpen；连续性，主要就是样本增广，结合 Mixup 的方法。

文章的主体思路就是给定一个有标签的样本 BATch $\mathcal{X}$X 和同样大小的无标签的样本batch $\mathcal{U}$U，通过 mixMatch 的方式，这两个 batch 分别变成了 ${\mathcal{X}}^{\mathrm{\prime }}$X′ 和 ${\mathcal{U}}^{\mathrm{\prime }}$U′，这两个 batch 分别按照有标签的情况，和无标签的情况，计算不同的 loss，

${\mathcal{X}}^{\mathrm{\prime }},{\mathcal{U}}^{\mathrm{\prime }}=\text{MixMatch}(\mathcal{X},\mathcal{U},T,K,\alpha )$X′,U′=MixMatch(X,U,T,K,α)

${\mathcal{L}}_{\mathcal{X}}=\frac{1}{\mathrm{\mid }{\mathcal{X}}^{\mathrm{\prime }}\mathrm{\mid }}\sum _{x,p\in {\mathcal{X}}^{\mathrm{\prime }}}H(p,p_m(y\mathrm{\mid }x,\theta \left)\right)$LX​=∣X′∣1​x,p∈X′∑​H(p,pm​(y∣x,θ))

${\mathcal{L}}_{\mathcal{U}}=\frac{1}{L\mathrm{\mid }{\mathcal{U}}^{\mathrm{\prime }}\mathrm{\mid }}\sum _{u,q\in {\mathcal{U}}^{\mathrm{\prime }}}\mathrm{\mid }\mathrm{\mid }q-p_m(y\mathrm{\mid }u,\theta )\mathrm{\mid }{\mathrm{\mid }}_2^2$LU​=L∣U′∣1​u,q∈U′∑​∣∣q−pm​(y∣u,θ)∣∣22​

$\mathcal{L}={\mathcal{L}}_{\mathcal{X}}+{\lambda }_u{\mathcal{L}}_{\mathcal{U}}$L=LX​+λu​LU​

$H(p,q)$H(p,q) 是我们常见的分类交叉熵，$T,K,\alpha ,\lambda$T,K,α,λ 是超参数，整体的算法流程如下所示：

上面这个算法流程，基本就是一个数据增广的算法过程，不过，由于现在的数据是混合了有标签和无标签两种数据，文章对无标签数据做了一些处理。

Data Augmentation

正如文章所说，数据增广是非常有效的一种方式，所以这篇 paper，也用到了数据增广的技术，文章里说，有标签的数据，只做一次增广， $x_b^{\mathrm{\prime }}=Au\left(x_b\right)$xb′​=Au(xb​)，没有标签的数据，要做 $K$K 次增广，$u_{b,k}^{\mathrm{\prime }}=Au\left(u_b\right)$ub,k′​=Au(ub​)

Label Guessing

对于无标签的数据，只能依靠模型去猜测，所以，这里用求平均的方式对无标签的数据做预测：

$\overline{q_b}=\frac{1}{K}\sum _{k=1}^K{p}_m(y\mathrm{\mid }{u}_{b,k};\theta )$qb​ˉ​=K1​k=1∑K​pm​(y∣ub,k​;θ)

Sharpening

对预测之后的标签，文章里做了一个 sharpen 的操作，就是让预测概率分布更加的 sharpen，文章利用了一种 “加热” 的技术：

$\text{Sharpen}(p,T{)}_i:=p_i^{\frac{1}{T}}\mathrm{/}\sum _{j=1}^L{p}_j^{\frac{1}{T}}$Sharpen(p,T)i​:=piT1​​/j=1∑L​pjT1​​

Mixup

对增广后的数据，文章也做了 mixup， 这个融合系数 $\lambda$λ 利用概率分布来获得：

$$\begin{gathered} \lambda -Beta(\alpha ,\alpha ) \\ {\lambda }^{\mathrm{\prime }}=max(\lambda ,1-\lambda ) \\ {x}^{\mathrm{\prime }}={\lambda }^{\mathrm{\prime }}{x}_1+(1-{\lambda }^{\mathrm{\prime }})x_2 \\ {p}^{\mathrm{\prime }}={\lambda }^{\mathrm{\prime }}{p}_1+(1-{\lambda }^{\mathrm{\prime }})p_2 \end{gathered}$$λ−Beta(α,α)λ′=max(λ,1−λ)x′=λ′x1​+(1−λ′)x2​p′=λ′p1​+(1−λ′)p2​

文章里为了利用 Mixup 这种技术，将有标签数据 $\mathcal{X}$X 和无标签数据 $\mathcal{U}$U 混合在一起形成一个混合数据 $\mathcal{W}$W，然后有标签数据和 $\mathcal{W}$W 中的前 $\mathrm{\mid }\mathcal{X}\mathrm{\mid }$∣X∣ 个进行 mixup，mixup 的数据，作为有标签数据，加入 ${\mathcal{X}}^{\mathrm{\prime }}$X′ 中，同样，无标签数据和 $\mathcal{W}$W 中的后 $\mathrm{\mid }\mathcal{U}\mathrm{\mid }$∣U∣ 个进行 mixup，mixup 的数据，作为无标签数据，加入 ${\mathcal{U}}^{\mathrm{\prime }}$U′ 中。

构造的这些数据，然后对网络不断的迭代训练。文章里的超参数 $T = 0.5, K =2 $, 而 $\alpha ,{\lambda }_u$α,λu​ 根据不同的数据库，需要做一定的适配。

这篇paper 在常用的半监督测试集上取得效果，非常惊人，而且作者也给出了各个 trick 对最终结果的影响：

可以看到，mixUp 和 sharpen 这两个技术，对结果的影响最大。

参考文献：

MixMatch: A Holistic Approach to Semi-Supervised Learning

相关阅读