「稀疏」行稀疏与列稀疏

稀疏

先介绍几个相关的矩阵范数。

矩阵X的 $l_{0,2}$ 范数——矩阵X中非零行的个数。先计算每一行的L2范数，再统计其中非零值的个数，即为矩阵X的 $l_{0,2}$ 范数值。

矩阵X的 $l_{2,0}$ 范数——矩阵X中非零列的个数。先计算每一列的L2范数，再统计其中非零值的个数，即为矩阵X的 $l_{2,0}$ 范数值。

矩阵X的 $l_{1,2}$ 范数定义为：

$\left \| \mathbf{X} \right \|_{1,2}=\sum _{i}\sqrt{ \sum _{j} \mathbf{X}_{i,j}^{2}}=\sum _{i}\left ( \left \| \mathbf{X }\left ( i,: \right )\right \| _{2}\right )$

即：计算每行数据（行向量）的L2范数，再将所有范数求和。（ $\mathbf{X }\left ( i,: \right )$ 表示矩阵X的第行）

矩阵X的 $l_{2,1}$ 范数定义为：

$\left \| \mathbf{X} \right \|_{2,1}=\sum _{j}\sqrt{ \sum _{i} \mathbf{X}_{i,j}^{2}}=\sum _{j}\left ( \left \| \mathbf{X }\left ( :,j \right )\right \| _{2}\right )$

即：计算每列数据（列向量）的L2范数，再将所有范数求和。（ $\mathbf{X }\left ( :,j \right )$ 表示矩阵X的第列）

行稀疏约束是基于矩阵的 $l_{0,2}$ 范数，即 $min \left \| \mathbf{X} \right \|_{0,2}$ 。而这个最小化问题为非凸问题，通常松弛化为 $min \left \| \mathbf{X} \right \|_{1,2}$ 。这里，只有每一行的L2范数都最小，才能达到约束问题最小化。而每一行的L2范数取得最小的含义是，当行内尽可能多的元素为0（甚至为全零行）时，约束才可能取得最小。这就实现了行稀疏（使得矩阵出现尽可能多的全零行）。

相对地，列稀疏约束是基于矩阵的 $l_{2,0}$ 范数，即 $min \left \| \mathbf{X} \right \|_{2,0}$ 。而这个最小化问题也是非凸问题，通常松弛化为 $min \left \| \mathbf{X} \right \|_{2,1}$ 。这里，只有每一列的L2范数都最小，才能达到约束问题最小化。而每一列的L2范数取得最小的含义是，当列内尽可能多的元素为0（甚至为全零列）时，约束才可能取得最小。这就实现了列稀疏（使得矩阵出现尽可能多的全零列）。

行稀疏与列稀疏都属于结构化稀疏。

简单记忆：0/1在前，就是行稀疏约束；0/1在后，就是列稀疏约束。

另外，学术论文中出现范数符号，一定要明确其具体定义。避免出现歧义。

行稀疏与列稀疏

稀疏

相关阅读

栏目导航

推荐阅读

热门阅读