前言： 读书《Reinforcement Learning: An Introduction Second Edition》，读到第三章有限马尔科夫决策过程MDP中，提到了贝尔曼方程的理解。一开始我是有点懵逼的，现在看懂了其意思，在这里解释一下。

贝尔曼方程理解

下面讲解

$$\begin{array}{rl}{v}_{\pi }(s)=& {\mathbb{E}}_{\pi }[G_t|S_t=s]\\ =& {\mathbb{E}}_{\pi }[R_{t+1}+\gamma G_{t+1}|S_t=s]\\ =& \sum _a\pi (a|s)\sum _{s^{\prime }}\sum _{r}p(s^{\prime },r|s,a)\left[r+\gamma {\mathbb{E}}_{\pi }[G_{t+1}|S_{t+1}=s^{\prime }]\right]\\ =& \sum _a\pi (a|s)\sum _{s^{\prime },r}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]foralls\in S\end{array}$$

如何推导。

---

首先，各符号意义：

• 上图中，$v_{\pi }(s)$表示在状态s下的，使用策略集$\pi$的价值；
• $G_t$就是在当前时刻$t$所产生的“回报”，在有限时刻中，通常引入折扣率$\gamma$的概念，将$G_t$定义为$G_t=R_{t+1}+\gamma G_{t+1}$，表示下一步对当前决策影响最大，时间越远，影响越小；
• $\pi (a|s)$是策略，在我看来就是在状态$s$下选择动作$a$的概率；
• $p()$是状态转移概率，$r$是回报。

---

$$v_{\pi }(s)=\sum _a\pi (a|s)\sum _{s^{\prime }}\sum _{r}p(s^{\prime },r|s,a)\left[r+\gamma {\mathbb{E}}_{\pi }[G_{t+1}|S_{t+1}=s^{\prime }]\right]$$

上面的公式我有些费解，经过书上的提示，我认为写成下面这样更合适：

$$v_{\pi }(s)=\sum _a\left(\pi (a|s)\sum _{s^{\prime }}\sum _r\left(p(s^{\prime },r|s,a)\left[r+\gamma {\mathbb{E}}_{\pi }[G_{t+1}|S_{t+1}=s^{\prime }]\right]\right)\right)$$

可以通过上图进行理解，在时刻$t$，其价值即各种选择的期望。而期望即是概率 $\times$ 对应事件值，在这里，期望即 该状态$s$下选择动作$a$的概率 $\pi (a|s)$ 乘上对应事件，即动作执行后，发生的一系列事件的期望。

---

贝尔曼方程组

$$\begin{array}{rl}& v(s_1)=f(v(s_1),v(s_2),...,v(s_n))\\ & v(s_2)=f(v(s_1),v(s_2),...,v(s_n))\\ & ...\\ & v(s_n)=f(v(s_1),v(s_2),...,v(s_n))\end{array}$$

可见，这构造了一个关于$v(s_i)$的n元1次方程组，可以求解每个状态的价值。

当然，这里$v_{\pi }(s)$简写成了$v(s)$，我们知道每个状态的价值是由策略决定的，策略糟糕，价值低。

---

贝尔曼最优方程

最优方程说明：最优策略下各个状态的价值一定等于这个状态下最优动作的期望回报。

假设只有2个状态（$s_1$与$s_2$），对于状态$s_1$，其最优价值：

$$v_{\ast }(s_1)=\max \left\{\begin{array}{rl}& p(s_1|s_1,a_1)[r(s_1,a_1,s_1)+\gamma v_{\ast }(s_1)]+p(s_2|s_1,a_1)[r(s_2,a_1,s_1)+\gamma v_{\ast }(s_2)]\\ & p(s_1|s_1,a_2)[r(s_1,a_2,s_1)+\gamma v_{\ast }(s_1)]+p(s_2|s_1,a_2)[r(s_2,a_2,s_1)+\gamma v_{\ast }(s_2)]\\ & ...\\ & p(s_1|s_1,a_n)[r(s_1,a_n,s_1)+\gamma v_{\ast }(s_1)]+p(s_2|s_1,a_n)[r(s_2,a_n,s_1)+\gamma v_{\ast }(s_2)]\end{array}\right\}$$

如上，是需要选择出一个/多个最优动作的。

如果将两个状态的方程式联立，则计算量急剧增大。

而对于状态多的更不用说，几乎不可计算。因此，要使用近似算。