年份	论文题目	作者	论文内容
2004	Background modeling and subtraction by codebook construction	K. Kim, T. Chalidabhongse, D. Harwood, and L. Davis	提出了CodeBook算法
2005	Real-time foreground–background segmentation using codebook model	K. Kim, T. Chalidabhongse, D. Harwood, and L. Davis	对2004论文中的算法作了部分修改，并提出了算法的两种改进，最后利用PDR分析对CodeBook、MOG、Kernal、UNI四种建模方法进行了性能对比
2009	Real Time Foreground-Background Segmentation Using a Modified Codebook Model	Ilyas A , Scuturici M , Miguet S .	null
2010	Real-time foreground-background segmentation based on improved codebook model（暂定）	Li Q , Shao C , Yue H , et al.	null

2005CodeBook：

• 提出的颜色模型： 为了解决阴影和强光的问题，提出了一种颜色模型分离色度和亮度，分别评估色度偏差和亮度偏差。
  设观测像素$x_t=(R,G,B)$，码字$c_i,v_i=({\bar{R}}_i,{\bar{G}}_i,{\bar{B}}_i)$
  $$\begin{array}{l}||x_t|{|}^2=R^2+G^2+B^2\\ ||v_i|{|}^2={\bar{R}}_i^2+{\bar{G}}_i^2+{\bar{B}}_i^2\\ <x_t,v_i{>}^2=({\bar{R}}_{i}R+{\bar{G}}_{i}G+{\bar{B}}_{i}B)\\ p^2=||x_t|{|}^2{\cos }^2\theta =\frac{<x_t,v_i{>}^2}{||v_i{|}^2}\end{array}$$则色度偏差和亮度偏差按下式计算：
  $$\{\begin{array}{l}colordist(x_t,v_i)=\delta =\sqrt{||x_t|{|}^2-p^2}\\ brightness(I,<\check{I},\hat{I}>)=\{\begin{array}{l}true:if{I}_{low}\le ||x_t||\le I_{hi}\\ false:otherwise\end{array}\end{array}$$ I l o w = α I ^ , I h i = min ⁡ { β I ^ , I ˇ α } , α < 1 , β > 1 {I_{low}} = \alpha \hat I,{I_{hi}} = \min \{ \beta \hat I,\frac{\check I}{\alpha }\} ,\alpha < 1,\beta > 1 Ilow​=αI^,Ihi​=min{βI^,αIˇ​},α<1,β>1
  通常$\alpha$为0.4～0.7，$\beta$为1.1～1.5
  注:
  色度偏差实质上就是$x_t$到$O{v}_i$直线的距离

---

• 算法思路： CodeBook算法使用量化/聚类方法来构建背景模型，一个像素点有一个码本来代表该点的背景模型，码本大小根据样本变化情况而改变，一个码本可能包含一个/多个码字。在训练期间构建出每个像素点的码本，在后续分类中将当前像素和码本中的多个码字进行比较，根据色度偏差和亮度偏差来进行分类。

χ = { x 1 , x 2 , . . . , x N } \chi = \{ {x_1},{x_2},...,{x_N}\} χ={x1​,x2​,...,xN​}表示单个像素由N个RGB向量构成的训练序列。
ℓ = { c 1 , c 2 , . . . , c L } \ell = \{{c_1},{c_2},...,{c_L}\} ℓ={c1​,c2​,...,cL​}表示单个像素由L个码字构成的码本。
每个码字 $c_i,i=1...L$ 由一个RGB向量$v_i=({\bar{R}}_i,{\bar{G}}_i,{\bar{B}}_i)$和一个6元组$au{x}_i=<{\check{I}}_i,{\hat{I}}_i,f_i,{\lambda }_i,p_i,q_i>$构成
${\check{I}}_i,{\hat{I}}_i$：分配给此码字的最小和最大亮度
$f_i$：该码字的出现的频率（次数）
${\lambda }_i$：MNRL(maximum negative run-length)定义为训练期间该码字没有出现最长间隔
$p_i,q_i$：码字第一次和最后一次出现的时间

• 模型初始化： 使用前N帧按下述方法进行码本的构建。

  i：t 时刻观测的像素$x_t=(R,G,B),I=\sqrt{R^2+G^2+B^2}$
 ii：根据下面两个条件找到$x_t$所匹配的码字$c_m$，${\epsilon }_1$是采样阈值（带宽）$$\{\begin{array}{l}colordist(x_t,v_m)\le {\epsilon }_1\\ brightness(I,<{\check{I}}_m,{\hat{I}}_m>)=true\end{array}$$iii：若没有匹配的，则$L\leftarrow L+1$，创建一个新的码字$c_L$$$\{\begin{array}{l}{v}_L=(R,G,B)\\ au{x}_L=<I,I,1,t-1,t,t>\end{array}$$iv：若有匹配的，则更新所匹配的码字$c_m$
      更新前：$$\{\begin{array}{l}{v}_m=({\bar{R}}_m,{\bar{G}}_m,{\bar{B}}_m)\\ au{x}_m=<{\check{I}}_m,{\hat{I}}_m,f_m,{\lambda }_m,p_m,q_m>\end{array}$$      更新后： { v m = ( f m R ˉ m + R f m + 1 , f m G ˉ m + G f m + 1 , f m B ˉ m + B f m + 1 ) a u x m = < min ⁡ { I , I ˇ m } , max ⁡ { I , I ^ m } , f m + 1 , max ⁡ { λ m , t − q m } , p m , t > \left\{ \begin{array}{l} {v_m} = (\frac{{{f_m}{{\bar R}_m} + R}}{{{f_m} + 1}},\frac{{{f_m}{{\bar G}_m} + G}}{{{f_m} + 1}},\frac{{{f_m}{{\bar B}_m} + B}}{{{f_m} + 1}})\\ au{x_m} = < \min \{ I,{{\check I}_m}\} ,\max \{ I,{{\hat I}_m}\} ,{f_m} + 1,\max \{ {\lambda _m},t - {q_m}\} ,{p_m},t > \end{array} \right. {vm​=(fm​+1fm​Rˉm​+R​,fm​+1fm​Gˉm​+G​,fm​+1fm​Bˉm​+B​)auxm​=<min{I,Iˇm​},max{I,I^m​},fm​+1,max{λm​,t−qm​},pm​,t>​ v：循环上述4步，当第N帧处理完后，按下式修改每个码字的 ${\lambda }_i$
λ i ← max ⁡ { λ i , ( N − q i + p i − 1 ) } {\lambda _i} \leftarrow \max \{ {\lambda _i},(N - {q_i} + {p_i} - 1)\} λi​←max{λi​,(N−qi​+pi​−1)}vi：对建模后的码本进行修正，M表示修正后的码本，按下式去掉那些长时间未出现的码字，这些码字大概率代表着前景，$T_M$通常设置为训练帧数的一半，即$\frac{N}{2}$。
M = { c m ∣ c m ∈ ℓ ∧ λ m ≤ T M } M=\{ {c_m}|{c_m} \in \ell \wedge {\lambda _m} \le{T_M}\} M={cm​∣cm​∈ℓ∧λm​≤TM​}注：
1.并非找最匹配的码字，找到一个相匹配的码字后就不再继续找了。
2.训练期间可以包含前景，第vi步会去除掉表示前景的码字。

• 前景/背景分类： 找到相匹配的码字，若有匹配的，则分类为背景，否则分类为前景。

  i：t 时刻观测的像素$x_t=(R,G,B),I=\sqrt{R^2+G^2+B^2}$
 ii：根据下面两个条件找到$x_t$所匹配的码字$c_m$，${\epsilon }_2$是检测阈值$$\{\begin{array}{l}colordist(x_t,v_m)\le {\epsilon }_2\\ brightness(I,<{\check{I}}_m,{\hat{I}}_m>)=true\end{array}$$iii：$BGS(x)=\{\begin{array}{l}foreground:nomatch\\ background:otherwise\end{array}$

• 模型更新： 若有匹配的码字（分类为背景），则按照模型初始化中第iv步更新所匹配的码字。
• 涉及参数： $\alpha$，$\beta$，${\epsilon }_1$，${\epsilon }_2$
• 改进1（分层建模与检测）： 只有分类为背景才能融合入背景模型中，所以当新加入/移除物体则不能融合进背景模型中。因此提出了分层建模与检测。
  定义额外的模型$H$（缓存）和三个参数$T_h$、$T_{add}$、$T_{delete}$

i：模型初始化后获得背景模型$M$，创建一个新的背景模型$H$作为缓存
ii：对于像素$x_t$，若在$M$中找到了匹配的码字，则更新这个码字
iii：若$M$中没找到，则在$H$中找，若找到了，则更新$H$中的码字，若没找到，则创新一个新的码字$h$并加入$H$中
iv：根据$T_h$过滤缓存中的码字 H ← { h i ∣ h i ∈ H , λ i > T H } H \leftarrow \{ {h_i}|{h_i} \in H,{\lambda _i} > {T_H}\} H←{hi​∣hi​∈H,λi​>TH​}
v：将缓存中保存时间很长的码字移动到M中
M ← M ∪ { h i ∣ h i ∈ H , h i 存 在 的 时 间 > T a d d } M \leftarrow M \cup \{ {h_i}|{h_i} \in H,{h_i}存在的时间>T_{add}\} M←M∪{hi​∣hi​∈H,hi​存在的时间>Tadd​}
vi：从M中删除长时间没有被匹配到的码字
M ← { c i ∣ c i ∈ M , c i 未 被 匹 配 的 时 间 > T d e l e t e } M \leftarrow \{ {c_i}|{c_i} \in M,{c_i}未被匹配的时间>T_{delete}\} M←{ci​∣ci​∈M,ci​未被匹配的时间>Tdelete​}
vii： 重复 ii～vi 步
注：$M$中有匹配的则分类为背景，没匹配则分类为前景（$H$中无论是否有匹配都分类为前景）

• 改进2（自适应码本更新）： 在全局照明变化的时候码字应该被更新。以适当的学习速率对码字向量和方差进行指数平滑可有效地应对照明变化，即构建的每个码字$c_m$添加了一个变量${\sigma }_m$，修改码字构建过程中的第iv步：($\gamma$和$\rho$是学习率)
  1.$v_m$的更新公式替换为：$v_m\leftarrow \gamma x_t+(1-\gamma )v_m$
  2.附加${\sigma }_m^2\leftarrow \rho {\delta }^2+(1-\rho ){\sigma }_m^2$，${\sigma }_m^2$是色度偏差的总方差，当算法开始时初始化${\sigma }_m$。
  3.色度偏差计算公式修改为：$colordist(x_t,v_i)=\frac{\delta }{{\sigma }_i}$
  注：
  1.2004年论文中使用的是$I=R+G+B$
  2.2004年论文在训练阶段确定模型后就不再更新模型了

---