RBM理论推导

article/2025/11/6 23:36:57

RBM（Restricted Boltzmann Machine）

上面这个图就是一个RBM模型，它包括三个部分，最下面的可视层（visible layer），中间的权重连边（无向），上面的隐藏层（hidden layer），每一层都有一个偏置visible layer的偏置是a，隐藏层的偏置是b。

RBM是基于能量模型的：

1.给定状态 $(v,h)$ 可以定义能量函数 $E_{\theta }(v,h)=-\sum_{i=1}^{n_{v}}a_{i}v_{i}-\sum_{j=1}^{n_{h}}b_{j}h_{j}-\sum_{i=1}^{n_{v}}\sum_{j=1}^{n_{h}}h_{j}w_{ji}v_{i}$

2.定义概率 $P_{\theta }(v,h)=\frac{e^{-E_{\theta }(v,h)}}{\sum_{v,h}e^{-E_{\theta }(v,h)}}$

3.目的是要知道被观测数据的概率分布 $P_{\theta }(v)$

可以知道： $P_{\theta }(v)=\sum_{h}P_{\theta }(v,h)=\frac{1}{Z}\sum_{h}e^{-E_{\theta }(v,h)}$ ， $P_{\theta }(h)=\sum_{v}P_{\theta }(v,h)=\frac{1}{Z}\sum_{v}e^{-E_{\theta }(v,h)}$

4.二值RBM，h和v只取值0、1，其中1表示神经元被激活，0表示神经元未被激活。

$P(h_{k}=1|v)=sigmoid(\sum_{i=1}^{n_{v}}w_{ki}v_{i}+b_{k} )$ ， $P(v_{k}=1|h)=sigmoid(\sum_{j=1}^{n_{h}}w_{jk}h_{j}+a_{k} )$

5.由于同一层的各个神经元是独立的，因此：

$P(h|v)=\prod_{j=1}^{n_{h}}p(h_{j}|v)$ ， $P(v|h)=\prod_{i=1}^{n_{v}}p(v_{i}|h)$

6.训练RBM就是要最大化 $l_{\Theta ,S}=\sum_{i=1}^{n_{s}}lnP(v^{(i)})$ ， $\Theta :=\Theta +\eta \frac{\partial l_{\Theta ,S}}{\partial \Theta }$ ，其中s样本集合

7.讨论单个样本 $\frac{\partial lnP(V)}{\partial \Theta }=-\left \langle \frac{\partial E(V,h)}{\partial \Theta } \right \rangle _{p(h|V)}+\left \langle \frac{\partial E(v,h)}{\partial \Theta } \right \rangle _{p(v,h)}$ ，V表示已知样本

8. $\left \langle \frac{\partial E(v,h)}{\partial \Theta } \right \rangle _{p(v,h)}=\sum _{v}P(v)\sum_{h}P(h|v)\frac{\partial E(v,h)}{\partial \Theta }$