熵权法

  熵权法是一种客观赋权方法。（客观 = 数据本身就可以告诉我们权重）
依据的原理：指标的变异程度越小，所反映的信息量也越少，其对应的权值也应该越低。

  本文借鉴了数学建模清风老师的课件与思路，如果大家发现文章中有不正确的地方，欢迎大家在评论区留言，也可以点击查看右侧链接查看清风老师视频讲解：清风数学建模：https://www.bilibili.com/video/BV1DW411s7wi

---

---

一、方法介绍

  熵权法就是根据一项指标的变化程度来分配权重的，举个例子：小张和小王是两个高中生，小张学习好回回期末考满分，小王学习不好考试常常不及格。在一次考试中，小张还是考了满分，而小王也考了满分。那就很不一样了，小王这里包含的信息就非常大，所对应的权重也就高一些。

  上面的小例子告诉我们：越有可能发生的事情，信息量越少。越不可能发生的事情，信息量就越多。其中我们认为 概率 就是衡量事情发生的可能性大小的指标。

  那么把 信息量 用字母 $\mathbf{I}$ 表示，概率 用 $\mathbf{p}$ 表示，那么我们可以将它们建立一个函数关系：

  那么，假设 x 表示事件 X 可能发生的某种情况，p(x)表示这种情况发生的概率情况如上图所示，该图像可以用对数函数进行拟合，那么最终我们可以定义：$I(x)=-\ln (p(x))$，因为 $0\le p(x)\le 1$，所以 $I(x)\ge 0$。 接下来引入正题：

---

信息熵的定义

  假设 x 表示事件 X 可能发生的某种情况，p(x) 表示这种情况发生的概率我们可以定义:$I(x)=-\ln (p(x))$ ，因为$0\le p(x)\le 1$ ，所以$I(x)\ge 0$ 。 如果事件 X 可能发生的情况分别为: $x_1,x_2,\cdots ,x_n$ ，那么我们可以定义事件 $X$ 的信息熵为：

$$H(X)=\sum _{i=1}^n[p(x_i)I(x_i)]=-\sum _{i=1}^n[p(x_i)\ln (p(x_i))]$$

那么从上面的公式可以看出，信息上的本质就是对信息量的期望值。

可以证明的是：$p(x_1)=p(x_1)=\cdots =p(x_n)=1/n$ 时，$H(x)$ 取最大值，此时 $H(x)=\ln (n)$。 (n表示事件发生情况的总数)

---

二、熵权法的计算步骤

熵权法的计算步骤大致分为以下三步：

1. 判断输入的矩阵中是否存在负数，如果有则要重新标准化到非负区间（后面计算概率时需要保证每一个元素为非负数）。
2. 计算第 j 项指标下第 i 个样本所占的比重，并将其看作相对熵计算中用到的概率。
3. 计算每个指标的信息熵，并计算信息效用值，并归一化得到每个指标的熵权。

---

1. 判断输入的矩阵中是否存在负数，如果有则要重新标准化到非负区间（后面计算概率时需要保证每一个元素为非负数）。

假设有$n$个要评价的对象，$m$个评价指标（已经正向化了）构成的正向化矩阵如下:

$$X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1m}\\ x_{21}& x_{22}& \cdots & x_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{nm}\end{array}\right]$$

设标准化矩阵为 $Z$，$Z$ 中元素记为 $z_{ij}$：

$$z_{ij}=\frac{x_{ij}}{\sqrt{\sum _{i=1}^n{x}_{ij}^2}}$$

判断 $Z$ 矩阵中是否存在着负数，如果存在的话，需要对 $X$ 使用另一种标准化方法对矩阵 $X$ 进行一次标准化得到 $Z$ 矩阵，其标准化的公式为:

z i j = x i j − m i n { x 1 j , x 2 j , ⋯ , x n j } m a x { x 1 j , x 2 j , ⋯ , x n j } − m i n { x 1 j , x 2 j , ⋯ , x n j } z_{ij}=\frac{x_{ij} - min\lbrace x_{1j}, x_{2j},\cdots, x_{nj}\rbrace}{max\lbrace x_{1j}, x_{2j},\cdots, x_{nj} \rbrace - min\lbrace x_{1j}, x_{2j},\cdots, x_{nj} \rbrace} zij​=max{x1j​,x2j​,⋯,xnj​}−min{x1j​,x2j​,⋯,xnj​}xij​−min{x1j​,x2j​,⋯,xnj​}​

这样可以保证 $z_{ij}$ 在 [0,1] 区间，没有负数。

---

2. 计算第 j 项指标下第 i 个样本所占的比重，并将其看作相对熵计算中用到的概率。

假设有 $n$ 个要评价的对象，$m$ 个评价指标，且经过了上一步处理得到的非负矩阵为:

$$Z=\left[\begin{array}{cccc}{z}_{11}& z_{12}& \cdots & z_{1m}\\ z_{21}& z_{22}& \cdots & z_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ z_{n1}& z_{n2}& \cdots & z_{nm}\end{array}\right]$$

计算概率矩阵 $P$，其中 $P$ 中每一个元素 $p_{ij}$，的计算公式如下:

$$p_{ij}=\frac{z_{ij}}{\sum _{i=1}^n{z}_{ij}}$$

保证每一列的加和为1，即每个指标所对应的概率和为1。

---

3. 计算每个指标的信息熵，并计算信息效用值，并归一化得到每个指标的熵权。

信息熵的计算：
对于第 $j$ 个指标而言，其信息嫡的计算公式为:

$$e_j=-\frac{1}{\ln n}\sum _{i=1}^n{p}_{ij}\ln (p_{ij}),(j=1,2,\cdots ,m)$$

注意：这里如果说 $p_{ij}$ 为0，那么就需要指定 $ln(0)=0$ 。

---

这里要说明两个问题：
1. 为什么这里要除以 $\ln (n)$ 这个常数?
在前面说过 $p(x_1)=p(x_2)=...=p(x_n)=1/n$ 时，$H(x)$ 取最大值为 $\ln (n)$，这里除以 $\ln (n)$ 能够使得信息嫡的始终位于 [0,1] 区间上面。

2. ej 越大，即第 j 个指标的信息嫡越大，表明第 j 个指标的信息越多还是越少?
答案是越少。当 $p_{1j}=p_{2j}=\cdots =p_{nj}$ 时，$e_j$ 取到最大值 1 。但是因为 $p_{ij}=z_{ij}/\sum _{i=1}^n{z}_{ij}$ ，所以 $z_{1j}=z_{2j}=\cdots =z_{nj}$，即 所有样本的这个指标值都相同。 指标相同意味着这个指标的数据没有变化，也就是 信息少！ 因此需要将其倒转，即计算信息效用值。 👇

---

信息效用值的定义:

$$d_j=1-e_j$$

那么信息效用值越大，其对应的信息就越多。

将信息效用值进行归一化，我们就能够得到每个指标的 熵权 :

$${\omega }_j=\frac{d_j}{\sum _{j=1}^m{d}_j},(j=1,2,3,\cdots ,m)$$

---

三、模型扩展 （★）

1. 熵权法可对 TOPSIS 法进行修正。
2. 熵权法背后的原理是利用指标的变异程度进行赋权，存在一定程度的客观性，可利用主观赋权法求得的权重向量进行综合。
3. 客观赋权法存在很多，求得客观权重的方法也有很多，其中灰色关联分析法得到的关联程度也可当作权重进行应用。
4. 不同的标准化方法，可能得到的标准化矩阵 $Z$ 存在差异，因此根据实际情况来使用标准化方法，注意前提都是得到的 $Z$ 矩阵中没有负数。

---

四、模型总结

总结一下步骤：

1. 判断输入的矩阵中 是否存在负数，如果有则要重新标准化到非负区间（后面计算概率时需要保证每一个元素为非负数）。
2. 计算第 j 项指标下第 i 个样本所占的比重，并将其看作相对熵计算中用到的 概率。
3. 计算每个指标的信息熵，并计算信息效用值，并归一化得到每个指标的熵权。