对互信息量的理解

　

互信息

在概率论中对于两个随机变量X与Y，我们定义若两个随机变量X,Y满足

P(X,Y)=P(X)P(Y)

则我们说随机变量X,Y独立。即我们仅仅停留在随机变量X与Y是否相关这个非黑即白的问题上，而引入信息论中的互信息量，我们不仅可以说明随机变量X与Y之间是否相关，更可以反映随机变量之间相关性的强弱。我们定义信源X发出的消息a_i通过信道后，信宿Y只可能收到由于干扰作用引起的某种变型b_j，我们将由新宿收到b_j后推测信源发出a_i的概率p(a_i | b_j)称为后验概率，p(a_i)称为先验概率，此时定义b_j对a_i的互信息量为

上式可化为

下面我们将不通过数学推导，仅从物理含义解释互信息量。

首先我们已知条件自信息量I(a_i|b_j)在数值上与该事件所包含的不确定度相同，但两者的含义是不同的；不确定度表示含有多少信息，信息量表示随机事件发生后可以得到多少信息。

从不确定度的角度来看，上式中我们可以知道互信息量就是在对bj一无所知的条件下ai存在的不确定度与引入bj后ai仍存在的不确定度之差，就是引入bj后不确定度被消除的部分，也就是通过bj我们确定下来的信息，即我们通过bj获得的对ai的信息量。

从信息量的角度看时，I(a_i)是对bj一无所知的情况下发生ai后我们获得的信息量，I(a_i|b_j)是引入bj后发生ai我们获得的信息量。不难想象，当bj与ai毫无相关性，即相互独立时，此时p(ai | bj)=p(ai), I(a_i|b_j)=I(a_i)，我们通过信宿收到的bj是无法推测信源是否发出了ai，即通过引入bj来推测ai所得到的信息量是为0的，则此时互信息量为0，相当于信道不传递任何信息，可以看做信道断开；而如果bj与ai是一一对应的关系，即我们在信宿接收到bj时我们能完全确定信源就是ai，此时p(ai | bj)=1, I(a_i|b_j)=0，此时的互信息量最大且等于I(a_i)。

在思考信息量的时候我曾有一个误区，总是不经意间把信息量I(a_i|b_j)当做在在bj发生时我们对ai所确定下来的东西，而实际恰恰相反，信息量是未知的，信息量I(a_i|b_j)是不确定的信息，可以看做是信宿为bj时信源为ai的惊讶度，正因为有惊讶度的存在，所以才会有从bj得到关于ai的信息量。这样也解释了上述的所有问题，若bj和ai一一对应，我们通过bj可以完全确定ai，则我们收到bj时对ai没有任何的未知，故I(a_i|b_j)=0。当bj和ai相互独立的时候，就算知道bj也对ai没有任何帮助，所以面对bj和ai都是一样的未知，故I(a_i|b_j)=I(a_i)。

所以bj对ai的互信息量是通过bj对ai确定下来的信息，是信源ai通过信道传递到信宿这个过程中流经信道的信息量。

文章最后发布于: 2018-05-26 14:39:49

相关阅读

对于编译原理的理解

#编译原理今天组长教育了一下整个程序的编译过程，感觉自己对于这块了解还是很少，有许多知识之前知道，现在忘记了，还有很多规则只是知

Android中BindService方式使用的理解

原文地址为：Android中BindService方式使用的理解最近学习了一下Android里面的Service的应用，在BindService部分小卡了一下，主要是开

FLAG_ACTIVITY_NEW_TASK与FLAG_ACTIVITY_CLEAR_TOP的

1.单独的FLAG_ACTIVITY_NEW_TASK并不等价于启动模式 singleTask，它仅表示寻找activity所需的任务栈压入，（即TaskAffinity指定的任务

以薄荷阅读为例，理解游戏化运营

大概从今年七八月份开始，我的朋友圈就被英语阅读的打卡贴刷屏了，很好奇什么样的学习机制可以让一群没有从事与英语相关工作的成年人

作为产品经理，我是如何理解产品的功能边界?

在前段时间的工作中，遇到了这样一个讨论。事情是这样的，我们要开发一个活动，活动展示，点击优惠券后，会领取优惠券，领取成功后，会向用户进