对偶问题的理解

　

对偶是什么意思

1. 为什么要使用对偶问题（SVM）

1. 对偶问题将原始问题中的约束转为了对偶问题中的等式约束

2. 方便核函数的引入

3. 改变了问题的复杂度。由求特征向量w转化为求比例系数a，在原始问题下，求解的复杂度与样本的维度有关，即w的维度。在对偶问题下，只与样本数量有关。

---

2. 寻找最优值的下界

我们首先要引入包含不等式约束的优化问题，标准形式如下：

minf(x)s.t.hi=0,i=1,...,mgj≤0,j=1,...,n(1)" role="presentation">mins.t.f(x)hi=0,i=1,...,mgj≤0,j=1,...,n(1)$$\begin{array}{cc}min& f(x)\\ \mathrm{s}.\mathrm{t}.& h_i=0,i=1,...,m\\ & g_j\le 0,j=1,...,n\end{array}(1)$$

f(x)" role="presentation">f(x)$f(x)$是目标函数，而后面分别是一系列的不等式约束和等式约束。

我们首先明确几个概念：

• 可行点（可行解）：所有满足约束的点x。
• 可行域：所有可行点组成的点集，记为R。正式写出来就是：

R={x|hi(x)=0,gj(x)≤0}" role="presentation">R={x|hi(x)=0,gj(x)≤0}$$R=\left\{x|h_i(x)=0,g_j(x)\le 0\right\}$$

• 最优点（最优解）：满足约束（也就是处于可行域之内）并且使目标函数达到最小的点，记为x∗" role="presentation">x∗$x^{\ast }$。
• 最优值：如果找到了x∗" role="presentation">x∗$x^{\ast }$，p∗=f(x∗)" role="presentation">p∗=f(x∗)$p^{\ast }=f(x^{\ast })$ 就是最优值。

明确了这些概念以后我们就接着说下面的内容了。

与等式约束的情况类似，我们定义拉格朗日函数如下：

L(x,λ,μ)=f(x)+∑i=1mλihi(x)+∑j=1nμjgj(x)" role="presentation">L(x,λ,μ)=f(x)+∑i=1mλihi(x)+∑j=1nμjgj(x)$$L(x,\mathit{\lambda },\mathit{\mu })=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{j=1}^n{\mu }_j{g}_j(x)$$

在这里需要强调的是，所有的μi" role="presentation">μi${\mu }_i$必须是大于等于0的（也即是不等式约束对应的乘子要求大于等于0，我们记为μ" role="presentation">μ$\mathit{\mu }$≥0，意思是每个都μi" role="presentation">μi${\mu }_i$≥0）。

接下来我们定义拉格郎日对偶函数（the Lagrange dual function）如下：

Γ(λ,μ)=infx⁡L(x,λ,μ)=infx⁡(f(x)+∑i=1mλihi(x)+∑j=1nμjgj(x))(2)" role="presentation">Γ(λ,μ)=infxL(x,λ,μ)=infx(f(x)+∑i=1mλihi(x)+∑j=1nμjgj(x))(2)$$\mathrm{\Gamma }(\mathit{\lambda },\mathit{\mu })=\underset{x}{inf}L(x,\mathit{\lambda },\mathit{\mu })=\underset{x}{inf}\left(f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{j=1}^n{\mu }_j{g}_j(x)\right)(2)$$

所以拉格朗日对偶函数Γ(λ,μ)" role="presentation">Γ(λ,μ)$\mathrm{\Gamma }(\mathit{\lambda },\mathit{\mu })$就是把L(x,λ,μ)" role="presentation">L(x,λ,μ)$L(x,\mathit{\lambda },\mathit{\mu })$看成x" role="presentation">x$x$的函数所找到的最小值。找到这个最小值有什么意义呢？

我们先把结论写下来，这个结论十分重要，是本次论述的目的：

对偶函数Γ(λ,μ)" role="presentation">Γ(λ,μ)$\mathrm{\Gamma }(\mathit{\lambda },\mathit{\mu })$产生了原问题（1）最优值p∗" role="presentation">p∗$p^{\ast }$的一个下界，也就是说，对于任意的λ" role="presentation">λ$\lambda$≥0和任意的μ" role="presentation">μ$\mu$来说，有：

Γ(λ,μ)≤p∗(3)" role="presentation">Γ(λ,μ)≤p∗(3)$$\mathrm{\Gamma }(\mathit{\lambda },\mathit{\mu })\le p^{\ast }(3)$$

这个结论显而易见！但是我们还是来证明一下：

Γ(λ,μ)=infx⁡L(x,λ,μ)≤f(x∗)+∑i=1mλihi(x∗)+∑j=1mμjgj(x∗)≤f(x∗)=p∗" role="presentation">Γ(λ,μ)=infxL(x,λ,μ)≤f(x∗)+∑i=1mλihi(x∗)+∑j=1mμjgj(x∗)≤f(x∗)=p∗$$\begin{array}{l}\mathrm{\Gamma }(\mathit{\lambda },\mathit{\mu })=\underset{x}{inf}L(x,\mathit{\lambda },\mathit{\mu })\\ \le f(x^{\ast })+\sum _{i=1}^m{\lambda }_i{h}_i(x^{\ast })+\sum _{j=1}^m{\mu }_j{g}_j(x^{\ast })\\ \le f(x^{\ast })=p^{\ast }\end{array}$$

最后两行的推导是考虑到x∗" role="presentation">x∗$x^{\ast }$是在可行域R内的，所以有（1）中的约束条件，并且有μ≥0" role="presentation">μ≥0$\mu \ge 0$

要理解这个不等式Γ(λ,μ)≤p∗" role="presentation">Γ(λ,μ)≤p∗$\mathrm{\Gamma }(\mathit{\lambda },\mathit{\mu })\le p^{\ast }$有两个直观的解释：

解释一：线性逼近的解释

解释二：交换max和min的次序

这两个解释说明了一个问题，就是不等式（3）是怎么来的（具体见原文）。

总结如下：

如果我们把拉格朗日函数看做是x的函数，然后取下确界（注意：是在整个定义域里取下确界，而不是仅仅在可行域里取值，也就是说取下确界时对x是没有约束的），那么得到的结果就是原优化问题（1）的最优值的一个下界。

---

3. 对偶问题

回忆上一节，对如下的原问题：

minf(x)s.t.hi=0,i=1,...,mgj≤0,j=1,...,n(1)" role="presentation">mins.t.f(x)hi=0,i=1,...,mgj≤0,j=1,...,n(1)$$\begin{array}{cc}min& f(x)\\ \mathrm{s}.\mathrm{t}.& h_i=0,i=1,...,m\\ & g_j\le 0,j=1,...,n\end{array}(1)$$

我们定义了拉格朗日对偶函数：

Γ(λ,μ)=infx⁡L(x,λ,μ)=infx⁡(f(x)+∑i=1mλihi(x)+∑j=1nμjgj(x))(2)" role="presentation">Γ(λ,μ)=infxL(x,λ,μ)=infx(f(x)+∑i=1mλihi(x)+∑j=1nμjgj(x))(2)$$\mathrm{\Gamma }(\mathit{\lambda },\mathit{\mu })=\underset{x}{inf}L(x,\mathit{\lambda },\mathit{\mu })=\underset{x}{inf}\left(f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{j=1}^n{\mu }_j{g}_j(x)\right)(2)$$

然后我们证明了：Γ(λ,μ)≤p∗" role="presentation">Γ(λ,μ)≤p∗$\mathrm{\Gamma }(\mathit{\lambda },\mathit{\mu })\le p^{\ast }$，其中p∗" role="presentation">p∗$p^{\ast }$是原问题的最优值。

也就是说我们找到了原问题最优值的一个下界。既然我们找到了一个下界，显然我们要找到它最好的下界。什么是最好的下界的？显然就是所有下界当中最大的那一个。所以我们要把最大化，当然我们还要记得我们需要限制。我们把要优化的函数和约束条件正式写下来就是：

maxλ,μΓ(λ,μ)s.t.μ≥0(4)" role="presentation">maxλ,μs.t.Γ(λ,μ)μ≥0(4)$$\begin{array}{cc}\underset{\mathit{\lambda },\mathit{\mu }}{max}& \mathrm{\Gamma }(\mathit{\lambda },\mathit{\mu })\\ s.t.& \mathit{\mu }\ge 0\end{array}(4)$$

与原问题（1）相对应，我们把上面的问题（4）称作拉格朗日对偶问题（Lagrange dual problem）。显然，对偶问题的最优值d∗" role="presentation">d∗$d^{\ast }$就是我们可以获得的p∗" role="presentation">p∗$p^{\ast }$的最优下界，也就是所有下界中离p∗" role="presentation">p∗$p^{\ast }$最近的一个，它们的关系是：

d∗≤p∗" role="presentation">d∗≤p∗$$d^{\ast }\le p^{\ast }$$

我们把这个不等式叫做弱对偶性质（Weak Duality）。

顺其自然，我们可以引出一个重要的概念，对偶间隙，其定义为d∗−p∗" role="presentation">d∗−p∗$d^{\ast }-p^{\ast }$，用文字叙述就是原问题的最优值与通过拉个郎日对偶函数获得的其最好（最大）的下界之差。由不等式（4）可以看出，对偶间隙肯定是大于等于0的。

那么有没有可能在某种情况下，对偶间隙消失了呢？也就是说对偶问题的最优值与原问题的最优值相等了呢？

我们将要叙述一下Slater条件：

Slater条件：

f(x)" role="presentation">f(x)$f(x)$和gj(x)" role="presentation">gj(x)$g_j(x)$均为凸函数，hi(x)" role="presentation">hi(x)$h_i(x)$为仿射函数，则存在x" role="presentation">x$x$满足：

hi(x)=0gj(x)&lt;0" role="presentation">hi(x)=0gj(x)<0$$\begin{array}{l}{h}_i(x)=0\\ g_j(x)<0\end{array}$$

Slater条件即是说存在x" role="presentation">x$x$，使不等式约束中的“小于等于号”要严格取到“小于号”。

此时

d&#x2217;=p&#x2217;" role="presentation">d∗=p∗$$d^{\ast }=p^{\ast }$$

这种情况称为强对偶性质（Strong Duality）。

下面的问题是，如果对偶间隙消失了，会发生什么有趣的现象呢？

如果对偶间隙消失了，也就是说，如果对偶问题存在着最优点&#x3BB;&#x2217;" role="presentation">λ∗${\lambda }^{\ast }$,&#x3BC;&#x2217;" role="presentation">μ∗${\mu }^{\ast }$并且使其对应的最优值等于p&#x2217;" role="presentation">p∗$p^{\ast }$.

这样我们就可以&#x3BB;&#x2217;" role="presentation">λ∗${\lambda }^{\ast }$,&#x3BC;&#x2217;" role="presentation">μ∗${\mu }^{\ast }$推出我们要优化的x&#x2217;" role="presentation">x∗$x^{\ast }$.

---

第一节转自狂徒归来

第二三节转自王国龙_成长

参考周志华《机器学习》

相关阅读

【神盾风控】P2P平台提前预警！9月问题平台达到200多家！

互联网金融高歌猛进，网贷行业广为人知、备受关注，然而就在今年，网贷行业出现了一个个的&ldquo;雷区&rdquo;，平均每天超过2家平台跑路

最短路径问题算法

简介      在现实与竞赛中经常会遇到求最短路径的问题，比如求快递员送货的最短路径、两个村庄之间的来往的最短路径等等。一般

百度竞价常见问题：影响点击量的因素有哪些？

会了百度竞价，其它如搜狗竞价，360竞价也基本上没有什么问题!但百度竞价面临很多的常识!在操作过程中，很多简单的问题，不一定会引起重

A0FAX电子无纸传真系统和传真服务器的常见问题解答

什么是电子传真机?就是不用纸张和耗材，直接通过电脑进行传真收发、管理、像数码相机一样，收发的传真都先存储在内置的数码芯片上，而

如何解决QQ空间受限问题

我们大家都知道现在做自媒体这一块的限制是越来越多了，无论是QQ空间还是微信公众号，这两者的限制都是非常常见的。就好比QQ空间，有时