1. 输入空间和输出空间
- 输入和输出所有可能取值的集合。通常输出空间小于输入空间（感觉并不一定）。
- 每个具体的输入是一个实例，通常由特征向量表示，所有特征向量的集合被称为特征空间
2. 特征空间
- 每一维对应于一个特征
- 可以与输入空间相同，也可以不同，模型实际上都是定义在特征空间上的。
3.回归问题，分类问题和标注问题
- 回归问题：输入变量与输出变量均为连续变量的预测问题（明天天气）
- 分类问题：输出变量为有限个离散变量的预测问题（打标签，把用户分类）
- 标注问题：输入变量与输出变量均为变量序列的预测问题（？）
4.联合概率分布（监督学习关于数据的基本假设之一）
监督学习假设输入和输出的随机变量是遵循联合概率分布P(X,Y)【分布（密度）函数】独立同分布产生的。
5.假设空间
一个由输入到输出的映射，写作P(y|x)或y=f(x)