一、参数说明
English
libsvm_options:
-s svm_type : set type of SVM (default 0)
0 -- C-SVC
1 -- nu-SVC
2 -- one-class SVM
3 -- epsilon-SVR
4 -- nu-SVR
-t kernel_type : set type of kernel function (default 2)
0 -- linear: u'*v
1 -- polynomial: (gamma*u'*v + coef0)^degree
2 -- radial basis function: exp(-gamma*|u-v|^2)
3 -- sigmoid: tanh(gamma*u'*v + coef0)
4 -- precomputed kernel (kernel values in training_instance_matrix)
-d degree : set degree in kernel function (default 3)
-g gamma : set gamma in kernel function (default 1/k)
-r coef0 : set coef0 in kernel function (default 0)
-c cost : set the parameter C of C-SVC, epsilon-SVR, and nu-SVR (default 1)
-n nu : set the parameter nu of nu-SVC, one-class SVM, and nu-SVR (default
0.5)
-p epsilon : set the epsilon in loss function of epsilon-SVR (default 0.1)
-m cachesize : set cache memory size in MB (default 100)
-e epsilon : set tolerance of termination criterion (default 0.001)
-h shrinking: whether to use the shrinking heuristics, 0 or 1 (default 1)
-b probability_estimates: whether to train a SVC or SVR model for
probability estimates, 0 or 1 (default 0)
-wi weight: set the parameter C of class i to weight*C, for C-SVC (default
1)
-v n: n-fold cross validation mode
==========================================================
Chinese:
Options：可用的选项即表示的涵义如下
-s svm类型：SVM设置类型(默认0)
0 -- C-SVC
1 --v-SVC
2 – 一类SVM
3 -- e -SVR
4 -- v-SVR
-t 核函数类型：核函数设置类型(默认2)
0 – 线性：u'v
1 – 多项式：(r*u'v + coef0)^degree
2 – RBF函数：exp(-gamma|u-v|^2)
3 –sigmoid：tanh(r*u'v + coef0)
-d degree：核函数中的degree设置(针对多项式核函数)(默认3)
-g r(gama)：核函数中的gamma函数设置(针对多项式/rbf/sigmoid核函数)(默认
1/ k)
-r coef0：核函数中的coef0设置(针对多项式/sigmoid核函数)((默认0)
-c cost：设置C-SVC，e -SVR和v-SVR的参数(损失函数)(默认1)
-n nu：设置v-SVC，一类SVM和v- SVR的参数(默认0.5)
-p p：设置e -SVR 中损失函数p的值(默认0.1)
-m cachesize：设置cache内存大小，以MB为单位(默认40)
-e eps：设置允许的终止判据(默认0.001)
-h shrinking：是否使用启发式，0或1(默认1)
-wi weight：设置第几类的参数C为weight*C(C-SVC中的C)(默认1)
-v n: n-fold交互检验模式，n为fold的个数，必须大于等于2
其中-g选项中的k是指输入数据中的属性数。option -v 随机地将数据剖分为n部
分并计算交互检验准确度和均方根误差。以上这些参数设置可以按照SVM的类型和核函
数所支持的参数进行任意组合，如果设置的参数在函数或SVM类型中没有也不会产生影
响，程序不会接受该参数；如果应有的参数设置不正确，参数将采用默认值。
二、核函数
-t kernel_type : set type of kernel function (default 2)
0 -- linear: u'*v
1 -- polynomial: (gamma*u'*v + coef0)^degree
2 -- radial basis function: exp(-gamma*|u-v|^2)
3 -- sigmoid: tanh(gamma*u'*v + coef0)
但有时我们需要使用自己的核函数，这时候可以用 -t 4参数来实现：
-t kernel_type : set type of kernel function (default 2)
4 -- precomputed kernel (kernel values in training_instance_matrix)
使用-t 4参数时，再有了核函数后，需要给出核矩阵，关于核函数以及核函数构造相关的知识，大家可以看看相关书籍，在此不特别深入说明。
比如线性核函数 是 K(x,x') = (x * x')，设训练集是train_data，设训练集有150个样本 , 测试集是test_data，设测试集有120个样本
则 训练集的核矩阵是 ktrain1 = train_data*train_data'
测试集的核矩阵是 ktest1 = test_data*train_data'
想要使用-t 4参数还需要把样本的序列号放在核矩阵前面 ，形成一个新的矩阵，然后使用svmtrain建立支持向量机，再使用svmpredict进行预测即可。形式与使用其他-t参数少有不同，如下：
ktrain1 = train_data*train_data'; Ktrain1 = [(1:150)',ktrain1]; model_precomputed1 = svmtrain(train_label, Ktrain1, '-t 4'); % 注意此处的 输入 Ktrain1 ktest1 = test_data*train_data'; Ktest1 = [(1:120)', ktest1]; [predict_label_P1, accuracy_P1, dec_values_P1] = svmpredict(test_label,Ktest1,model_precomputed1); % 注意此处输入Ktest1
Remark:注意上面注释部分部分。
下面是一个整体的小例子，大家可以看一下：
%% Use_precomputed_kernelForLibsvm_example % faruto % last modified by 2011.04.20 %% tic; clear; clc; close all; format compact; %% load heart_scale.mat; % Split Data train_data = heart_scale_inst(1:150,:); train_label = heart_scale_label(1:150,:); test_data = heart_scale_inst(151:270,:); test_label = heart_scale_label(151:270,:); %% Linear Kernel model_linear = svmtrain(train_label, train_data, '-t 0'); [predict_label_L, accuracy_L, dec_values_L] = svmpredict(test_label, test_data, model_linear); %% Precomputed Kernel One % 使用的核函数 K(x,x') = (x * x') % 核矩阵 ktrain1 = train_data*train_data'; Ktrain1 = [(1:150)',ktrain1]; model_precomputed1 = svmtrain(train_label, Ktrain1, '-t 4'); ktest1 = test_data*train_data'; Ktest1 = [(1:120)', ktest1]; [predict_label_P1, accuracy_P1, dec_values_P1] = svmpredict(test_label, Ktest1, model_precomputed1); %% Precomputed Kernel Two % 使用的核函数 K(x,x') = ||x|| * ||x'|| % 核矩阵 ktrain2 = ones(150,150); for i = 1:150 for j = 1:150 ktrain2(i,j) = sum(train_data(i,:).^2)^0.5 * sum(train_data(j,:).^2)^0.5; end end Ktrain2 = [(1:150)',ktrain2]; model_precomputed2 = svmtrain(train_label, Ktrain2, '-t 4'); ktest2 = ones(120,150); for i = 1:120 for j = 1:150 ktest2(i,j) = sum(test_data(i,:).^2)^0.5 * sum(train_data(j,:).^2)^0.5; end end Ktest2 = [(1:120)', ktest2]; [predict_label_P2, accuracy_P2, dec_values_P2] = svmpredict(test_label, Ktest2, model_precomputed2); %% Precomputed Kernel Three % 使用的核函数 K(x,x') = (x * x') / ||x|| * ||x'|| % 核矩阵 ktrain3 = ones(150,150); for i = 1:150 for j = 1:150 ktrain3(i,j) = ... train_data(i,:)*train_data(j,:)'/(sum(train_data(i,:).^2)^0.5 * sum(train_data(j,:).^2)^0.5); end end Ktrain3 = [(1:150)',ktrain3]; model_precomputed3 = svmtrain(train_label, Ktrain3, '-t 4'); ktest3 = ones(120,150); for i = 1:120 for j = 1:150 ktest3(i,j) = ... test_data(i,:)*train_data(j,:)'/(sum(test_data(i,:).^2)^0.5 * sum(train_data(j,:).^2)^0.5); end end Ktest3 = [(1:120)', ktest3]; [predict_label_P3, accuracy_P3, dec_values_P3] = svmpredict(test_label, Ktest3, model_precomputed3); %% Display the accuracy accuracyL = accuracy_L(1) % Display the accuracy using linear kernel accuracyP1 = accuracy_P1(1) % Display the accuracy using precomputed kernel One accuracyP2 = accuracy_P2(1) % Display the accuracy using precomputed kernel Two accuracyP3 = accuracy_P3(1) % Display the accuracy using precomputed kernel Three %% toc;
运行结果：
Accuracy = 85% (102/120) (classification) Accuracy = 85% (102/120) (classification) Accuracy = 67.5% (81/120) (classification) Accuracy = 84.1667% (101/120) (classification) accuracyL = 85 accuracyP1 = 85 accuracyP2 = 67.5000 accuracyP3 = 84.1667 Elapsed time is 1.424549 seconds.
于核函数这里多说一下，核函数的正确选取依赖产生分类问题的实际问题的特点，因为不同的实际问题对相似程度有着不同的度量，核函数可以看作一个特征提取的过程，选择正确的核函数有助于提高分类准确率。
核函数的构造可以直接构造，也可以通过变换来得到。
三、问答
|
Libsvm官方FAQ地址：
此处给出的是部分的中文翻译，方便大家使用。
|
中文翻译版：
软件包中有一个 README 文件，里面详细说明了所有参数选项、数据格式以及库函数的调用。在python目录下，模型选择工具和python界面的libsvm各有一个README文件。 初学者可以通过A practical guide to support vector classification 了解如何训练和检验数据.论文LIBSVM : a library for support vector machines详细讨论了libsvm的使用.
libsvm应用了所谓的”稀疏“格式，这样零值就不用存储了。例如，有下面属性的数据
目前libsvm只支持数值型的数据。因此，你必须将非数值型的转为数值型的数据。比如，你可以用二进制属性来替代原来的类别属性。
这是个具有争议的话题。将系数向量赋值给核函数是比较慢的，因此总的训练时间至少是采用密集格式的2倍或3倍。但是，我们不支持密集格式的数据，因为我们不能够处理极度稀疏的数据。代码的简洁也是我们考虑的一个因素。目前我们决定只支持稀疏格式的数据。
通常我们建议你首先采用RBF核函数。Keerthi 和 Lin 的最近的研究(
下载论文) 表明如果模型选择RBF的话，
就没有必要再考虑线性核函数了。采用sigmoid核函数的矩阵不一定会正有界，而且通常它的准确性也不如RBF(可参见Lin和Lin的论文
此处下载). 多项式核函数还不错，但是如果度数很高的话，数值困难就会发生
(考虑到(<1)的d次幂会趋向0，(>1)的d次幂会趋向无穷）
不是的，目前libsvm用同样的方法处理线性/非线性SVMs. 注意：如果采用线性核函数，一些技巧可能会节省训练/检验的
时间。 因此libsvm对线性SVM并不时特别有效,尤其是采用很大的C的问题，这些问题数据的数值比其属性值要大得多。
你可以：
仅用很大的C.下面的论文表明了：当C大于一个确定的阀值以后，判决函数是相同的。
S.S. Keerthi and C.-J. Lin. Asymptoticbehaviors of support vector machines with Gaussian kernel .NeuralComputation, 15(2003), 1667-1689.
尝试用bsvm,它有个对解决线性SVMs很有效的方法.你可以在下面的研究中找到更详细的内容:
K.-M. Chung, W.-C. Kao, T. Sun, and C.-J. Lin. Decomposition Methods for Linear Support Vector Machines. NeuralComputation, 16(2004), 1689-1704.
另外，你并没必要一定要解决线性SVMs.你可以参考前面有关如何选取核函数的问题。
对于线性规划方法，如果采用可RBF核函数并进行了参数的选择，两者是没什么不同的。假设Mi和mi分别代表第i个属性的
最大值和最小值.规划到[0,1]即：
x'=(x-mi)/(Mi-mi)对于[-1 1]：
x''=2(x-mi)/(Mi-mi)-1.在RBF核函数中：
x'-y'=(x-y)/(Mi-mi), x''-y''=2(x-y)/(Mi-mi).因此在[0,1]数据规划中用(C,g)，和[-1 1]数据规划中用(C,g/2)是一样的。
尽管性能相同，但是计算机时间可能不同。对于有许多零入口的数据, [0,1]规划保持了输入数据的稀疏特性，因此可能
会节省计算时间。
可以。libsvm有一个-wi选项。例如，你用：
svm-train -s 0 -c 10 -w1 1 -w-1 5 data_file 则对类别“-1”的惩罚就较大。注意-w选项仅用在C-SVC中。
除了参数不同外，两者基本是一样的。C-SVC中，C的范围是0到无穷，nu-SVC中C的范围是[0 1]。 nu一个很好的
特性是：它与支持向量的比率和训练误差的比率相关。
对于多分类，我们采用的是1against 1法.我们的选择建立在以下对比的基础上: C.-W. Hsu and C.-J. Lin. A comparison of methods for multi-class support vector machines , IEEE Transactions on Neural Networks, 13(2002), 415-425. "1agains1the rest"是个很好的方法，而且分类效果
和"1-against-1."可以相比。但是我们采用后者，因为它训练的时间更短。
这十分简单. 以c-svc为例, 在svm.cpp中只要修改两个地方即可. 第一, 将solve_c_svc中的：
s.Solve(l, SVC_Q(*prob,*param,y), minus_ones, y,alpha, Cp, Cn, param->eps, si, param->shrinking);修改为：
s.Solve(l, SVC_Q(*prob,*param,y), minus_ones, y,alpha, INF, INF, param->eps, si, param->shrinking);第二：在SVC_Q类中, 声明C为私有变量：
double C;在构造（constructor）中，将它赋给param.C:
this->C = param.C;在子程序get_Q中, 在for循环之后，添加：
if(i >= start && i < len)data += 1/C;对于一分类svm，以上修改完全一样。对于SVR,上面的if语句就没有必要了，你只要用一个简单的赋值语句即可：
data[real_i] += 1/C;