目录
1、监督学习（supervised learning）
2、无监督学习（unsupervised learning）
3、强化学习（reinforcement learning）
4、半监督学习（semi-supervised learning）与主动学习（active learning）
统计学习或机器学习一般包括监督学习、无监督学习、强化学习。有时还包括半监督学习、主动学习
1、监督学习（supervised learning）
监督学习是指从标注数据中学习预测模型的机器学习问题。标注数据表示输入输出的对应关系，预测模型对给定的输入产生相应的输出。监督学习的本质是学习输入到输出的映射的统计规律 
2、无监督学习（unsupervised learning）
无监督学习是指从无标注数据中学习预测模型的机器学习问题。无标注数据是自然得到的数据，预测模型表示数据的类别、转换或概率。无监督学习的本质是学习数据中的统计规律或潜在结构
3、强化学习（reinforcement learning）
强化学习是指智能系统在环境的连续互动中学习最优行为策略的机器学习问题。假设智能系统与环境的互动基于马尔可夫决策过程（Markov decision process），智能系统能观测到的是与互动得到的数据序列。强化学习的本质是学习最优的序贯决策
4、半监督学习（semi-supervised learning）与主动学习（active learning）
半监督学习是指利用标注数据集和未标注数据学习预测模型的机器学习问题，通常有少量标注数据、大量未标注数据，因为标注数据的构建往往需要人工，成本较高，未标注数据的收集不需太多成本。半监督学习旨在利用未标注数据中的信息，辅助标注数据，进行监督学习，以较低的成本达到较好的学习效果
主动学习是指机器不断主动给出实例让教师进行标注，然后利用标注数据学习预测的机器学习问题。通常的监督学习使用给定的标注数据，往往是随机得到的，可以看作是“被动学习”，主动学习的目标是找出对学习最优帮助的实例让教师标注，以较小的标注代价，达到较好的学习效果
半监督学习和主动学习更接近监督学习
参考文献：《统计学习方法 第2版》 by 李航
