香农定义，一个事件包含信息量的大小由这个事件消除了多少不确定性决定
计算得出的信息称为 Shannon information content

信息量在某些情况下是可加的，比如：
得知一个六面骰子投掷三次的结果所包含的信息量，是得知投掷一次的结果的三倍

用数学表达的话，可以假设可能的结果为 r
投掷一次骰子可能产生的结果有 6 种，即 r = 6
投掷三次骰子可能产生的结果有 $6^3$ 种，即 r = 216
可以得到：
$$lo{g}_b{6}^3=3\cdot lo{g}_{b}6$$

如此一来，我们便得到了信息量的表达式：

其中 r 是 U 可能产生的结果的数量
其中 b 在这个式子中并不关键，它只决定信息的单位，一般为 bit 或 nat

如果将几个不相关的事件视为一个事件，则这个事件包含的信息是这些不相关事件所包含信息的和

我们将一个事件 X 发生的概率定义为 $p(X)$ 或 $p_x$
则我们得知这个事件发生时获得的信息量为：

当两个事件 X 和 Y 不相关时：

将其扩展到多个不相关的事件，我们可以得到：

其中 $p_i$ 是事件 i 发生的概率

这里我们举一个例子来方便理解：

图中是一顶帽子，里面有三颗黑球和一颗白球，我们从中随机抽取一个球，获得的信息量如下：

1. 抽到白球
抽到白球的概率是$1/4$，因此获得的信息量为 $lo{g}_2\frac{1}{1/4}=2bits$

2. 抽到黑球
抽到黑球的概率是$3/4$，因此获得的信息量为 $lo{g}_2\frac{1}{3/4}=0.415bits$

信息总量为二者之和，为

白球较少，抽到白球的概率小，因此抽取白球时获得的信息量更多