注：在此讨论的内容默认是针对监督学习

一、输入空间

       直白点，输入‘X’可能取值的集合就是输入空间（input space）。输入空间可以是有限集合空间，也可以是整个欧式空间。

二、输出空间

       同样的，输出‘Y’可能取值的集合就是输出空间（output space）。输出空间可以是有限集合空间，也可以是整个欧式空间。

三、特征空间

       对于上面讨论的输入空间，每个具体的输入就是一个实例（instance）,这个实例是由特征向量（feature vector）表示,如下图（图一）：其中x就是输入空间X中的一个输入实例，由n维特征向量组成（x(n)）；

       （图一）

      一般的，用大写的X/Y代表输入输出空间，小写的x/y代表一个具体的输入输出实例（标量或者向量）； 向量默认为列向量，   所以上图中对于x的输入向量用行向量转置的方式（符号'T'）来表示列向量

我们再看下图（图二）：

图一与图二的不同之处在于和,   其中代表多个输入变量x中的第i个；

另外与的区别在于：代表输入x的第i个特征。 所以图二代表的意思是：第i个输入变量中，由n个特征组成。