支持向量机（Support Vector Machine，SVM），集成了最大间隔超平面、Mercer核、凸二次规划、稀疏解和松弛变量等多项技术。
核表示方式将数据映射到高位空间来增加线性学习器的计算能力。训练样本不会独立出现，而总是以成对样本的内积形式出现。通过选择恰当的核函数来代替内积，可以隐式地将训练数据非线性映射到高维空间，而不增加可调参数的个数，当然前提是核函数能够计算对应着两个输入特征向量的内积。
需要学习的目标函数的复杂度取决于它的表示方式，学习任务的难度也会随之变化。在理想情况下，应该选择与特定的学习问题匹配的表示。将数据简单映射到另一个空间有时能够很好地简化任务。一般而言，描述数据的量通常称为特征，而原始的量有时称为属性。选择最佳表达方式的过程称为特征选择。
普通的预处理策略：改变数据的表达形式，即输入空间 -> 特征空间的映射。
维数约简：寻找包含了原始属性中必要信息的最小特征集。
主成分分析提供了一种将数据映射到特征空间的方法，它将原始属性线性组合，并对新的数据表示按照每个特征方向的方差大小排序。维数约简有时会简单地去除那些方差很小的方向上的特征，尽管不能保证这些特征对于目标分类不重要。
用线性学习器学习一个非线性关系，意味着建立非线性学习器，分为两步：首先使用一个非线性映射将数据变换到新的特征空间F；然后在这个特征空间使用线性学习器进行分类。
如果有一种方式可以在特征空间中直接计算内积，就有可能将空间映射与线性学习这两个步骤融合到一起，从而建立一个非线性的学习器，其中直接计算内积的方法称为核函数方法。
线性学习器的一个重要性质是可以表达为对偶形式。对偶表达的一个重要结果是特征空间的维数不再影响计算。核的使用将数据隐式表达为特征空间，并使得在其中训练一个线性学习器称为可能，从而越过了本来需要的计算特征映射的问题。
关于训练样本的唯一信息是它们在特征空间的Gram矩阵，这个矩阵又称为核矩阵。显然，核函数法的关键是找到一个可以高效计算的核函数，一旦有了这个函数，决策规则可以通过对核的n次计算来得到。使用核函数时不需要为了在特征空间中学习而了解潜在的特征映射。
常用的核函数：线性函数、多项式核函数、径向基函数、和多层感知机等。
VC理论：
经验风险最小化准则（Empirical Risk Minimization，ERM）虽然可以使训练误差最小化，但是并不能最小化学习过程的泛化误差，如神经网络采用ERM准则就存在过拟合问题。
结构风险最小化准则（Structural Risk Minimization,SRM）通过对推广误差（风险）上界的最小化达到最大的泛化能力。
PCA学习模型：近似正确（Probably Approximately Correct，PAC）学习模型。
VC维：给定一个函数集，如果存在n个样本，这n个样本能够被函数集中的函数按所有可能的2^n种形式分开，则称函数集能够把n个样本打散。函数集的VC维就是它能打散的最大样本数目n。若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大。
VC维反映了函数集的学习能力，VC维越大则学习器越复杂（容量越大）。
目前尚没有关于任意函数集的VC维的通用计算理论，只知道一些特殊函数集的VC维。
SVM原理：
VC理论促进了SVM的出现，它也是目前描述SVM最合适的理论。
支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理的基础上，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折中，期望获得最好的泛化能力。
在SVM方法中，只要定义不同的内积函数，就可以实现多项式逼近、贝叶斯分类器、径向基函数方法、多层感知器网络等许多现有学习算法。
支持向量机方法的几个重要优点：
1.它是专门针对有限样本的情况，其目标是得到现有信息下的最优解，而不仅仅是样本数趋于无穷大时的最优值；
2.算法最终将转化成一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题；
3.算法将实际问题通过非线性变换转换到高维的特征空间，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证学习器有较好的泛化能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关。
最优超平面：要求分类面不但能将两类样本无错误地分开，而且要使两类之间的距离最大。
支持向量机算法扩展：
多类别问题的扩展：逐一鉴别方法、 一一区分法、M-ary分类方法、一次性求解法
海量样本数据的处理：分块法、分解法