互信息和点互信息

　

互信息

互信息和点互信息

创建日期 星期四 07 三月 2019

点互信息PMI(Pointwise Mutual Information)

点互信息就是很亮两个失误的相关性,

在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。二者相关性越大，则p(x, y)就相比于p(x)p(y)越大。用后面的式子可能更

好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x)，自然就表示x跟y的相关程度。

互信息

和上一个一样,不过推广到两个随机变量之间的相关性;

比较就是求两个概率分布的相关性;

相关阅读

联合熵（joined entropy）、条件熵（conditional entropy）、

这部分内容算是对前面时间序列中近似熵、样本熵、模糊熵等熵的基础部分，毕竟前面部分只是对各种熵的求法步骤做了归纳，要理解其中的

互信息的深度理解（总结的不错值得一看）

1.互信息的定义 正式地，两个离散随机变量 X 和 Y 的互信息可以定义为： 其中 p(x,y) 是 X 和 Y 的联合概率分布函数，而p(x