转自 http://hi.baidu.com/liuzhiliangliang/blog/item/bfbb5b277cf05c1c918f9d8c.html#0
博主提出的观点如题目,感觉这是SVM的基本问题,却在论文中被忽视,只能说悲剧。
不说了,原文奉上:
在有些关于SVM的论文中,一些作者认为SVM只依赖于支撑向量集,所以:即使训练样本中只包含支撑向量集,也可以得到与之前一样的SVM模型。这种观点是错误的,因为支撑向量集的产生,是所有样本共同作用的结果,如果缺少任何一个样本都有可能产生不同的SVM模型。所谓支撑向量,只是说是用该训练集得到的SVM模型在进行决策时只依赖于此支撑向量集,其它的非支撑向量不参与决策。
注意:非支撑向量不参与决策,但是参与了模型训练,因此他们也是必不可少的,切不可卸磨杀驴。
下面用实例来佐证以上的观点。
load fisheriris
xdata = meas(51:end,3:4);
group = species(51:end);
svmStruct = svmtrain(xdata,group,'showplot',true);
如果只用以上模型中的支撑向量,再重新训练SVM,将得到一个不一样的SVM模型。
xdata_sv = xdata(svmStruct.SupportVectorIndices,:);
group_sv = group(svmStruct.SupportVectorIndices);
hold on;
svmStruct1 = svmtrain(xdata_sv,group_sv,'showplot',true);
通过上图可见:决策面发生了变化(示意为蓝色粗线),而且支撑向量发生了改变,即有些在之前SVM模型中充当支撑向量的点,在新的SVM模型中不再担当此重任。---来自亮丽的风景线