支持向量机(support vector machine,SVM)是一种常用的分类监督学习方法。对于已经标明类别的训练样本,SVM在特征空间中寻找能够区分不同类别的决策边界,并使边界与两侧最近样本之间的距离尽可能大,即最大化分类间隔。

例如,使用两项特征判断驾驶员是否疲劳时,每个训练样本可以表示为二维空间中的一个点。能够将疲劳与不疲劳样本分开的直线可能不止一条,但如果边界距离某些训练样本过近,这些样本稍有变化就可能落到边界另一侧。因此,SVM选择使两类样本之间分类间隔尽可能大的边界。距离分类边界最近、直接限制分类间隔大小的训练样本称为支持向量(support vectors)。这些样本决定了分类边界的位置,因此“支持向量机”由此得名。

在二维特征空间中,线性分类边界表现为一条直线;当特征增加后,分类边界相应扩展为平面或更高维空间中的超平面(hyperplane)。如果不同类别无法在原始特征空间中通过线性边界很好地区分,SVM可以使用核函数(kernel function)处理非线性分类问题。核函数使模型能够在更高维的特征空间中建立分类边界,使原本无法由线性边界分开的样本得到区分。

支持向量机选择最大间隔分类边界