①马尔可夫性质：已知“现在”的情况下，“未来”与“过去”彼此独立（N+1仅与N有关，与N以前的所有都无关）
②马尔可夫过程：具有马尔可夫性质的随机过程
③马尔可夫链：马尔可夫过程的原始模型，其任意时刻的状态是有限个可能状态之一，某时刻状态一旦确定后续状态与此前状态无关。
④隐马尔可夫过程：双重随机过程，状态和状态间随机，状态和输出间亦随机，输出仅与当前状态有关
⑤马尔可夫决策过程：考虑动作，系统下一时刻的状态与当前时刻的状态和当前时刻采取的动作有关
⑥部分可观察马尔可夫决策过程：环境状态部分可知，（需要借助传感器感知外界环境or与其他Agent进行交互）
