目录

一：熵的定义

二：联合熵和条件熵

三：相对熵

四：互信息

五：条件互信息

六：条件相对熵 

---

一：熵的定义

解释：,由于P(x)介于0-1之间，大于等于0.
不等式：

不等式说明了信源成等概分布时，熵值达到最大。

二：联合熵和条件熵

由于熵与概率分布有关，故而联合概率和条件概率也能定义熵；概率的链式法则以及贝叶斯公式也在熵的计算中可用。

链式法则：

韦恩图（形象刻画熵之间的关系）

重要结论：条件熵为零时，非条件是条件的函数。

三：相对熵

相对熵（kl距离）不是测度或者说是泛函里的距离空间

计算实例：（1个p(x)对应一个q(x)）

四：互信息

分析：X与Y独立时，I(x,y)=0.

五：条件互信息

Z作为条件，直接在原有的I(x,y)公式上补上z条件。

六：条件相对熵 

证明相对熵非负