LibLinear（SVM包）使用說明之（三）實踐

標籤：

LibLinear（SVM包）使用說明之（三）實踐

LibLinear（SVM包）使用說明之（三）實踐

[email protected]

http://blog.csdn.net/zouxy09

 

          我們在UFLDL的教程中，Exercise: Convolution and Pooling這一章節，已經得到了cnnPooledFeatures.mat特徵。在該練習中，我們使用的是softmax分類器來分類的。在這裡我們修改為用SVM來替代softmax分類器。SVM由Liblinear軟體包來提供。這裡是四分類問題，所以Liblinear會根據我們傳入的訓練樣本訓練四個二分類器，以實現四分類。以前由softmax分類器得到的準確率是80.406%。在這裡換成Liblinear後，準確率變為80.75%。在這裡差別不是很大。

         在本文的例子中，我們增加了scale和Cross Validation，Cross Validation是用來選擇一個最好的參數C的（不知道自己這兩個步驟有沒有正確，如有錯誤，還望大家提醒，謝謝）。

         具體的代碼如下：

[plain] view plaincopy 

1. %// Classification by LibLinear  
2. %// LibLinear: http://www.csie.ntu.edu.tw/~cjlin/liblinear/  
3. %// Author : zouxy  
4. %// Date   : 2013-9-2  
5. %// HomePage : http://blog.csdn.net/zouxy09  
6. %// Email  : [email protected]  
7.   
8. clear; clc;  
9.   
10. %%% step1: load data  
11. fprintf(1,‘step1: Load data...\n‘);  
12. % pooledFeaturesTrain大小為400*2000*3*3  
13. % pooledFeaturesTest大小為400*3200*3*3  
14. % 第一維是特徵個數，也就是特徵圖個數，第二維是樣本個數，第三維是特徵圖的寬，  
15. % 第四維是特徵圖的高  
16. load cnnPooledFeatures.mat;  
17. load stlTrainSubset.mat % loads numTrainImages, trainImages, trainLabels  
18. load stlTestSubset.mat  % loads numTestImages,  testImages,  testLabels  
19.   
20. % B = permute(A,order) 按照向量order指定的順序重排A的各維  
21. train_X = permute(pooledFeaturesTrain, [1 3 4 2]);  
22. % 將每個樣本的特徵拉成一個列向量，每個樣本一個列，矩陣大小為3600*2000  
23. train_X = reshape(train_X, numel(pooledFeaturesTrain) / numTrainImages, numTrainImages);  
24. train_Y = trainLabels; % 2000*1  
25.   
26. test_X = permute(pooledFeaturesTest, [1 3 4 2]);  
27. test_X = reshape(test_X, numel(pooledFeaturesTest) / numTestImages, numTestImages);  
28. test_Y = testLabels;  
29. % release some memory  
30. clear trainImages testImages pooledFeaturesTrain pooledFeaturesTest;  
31.   
32. %%% step2: scale the data  
33. fprintf(1,‘step2: Scale data...\n‘);  
34. % Using the same scaling factors for training and testing sets,   
35. % we obtain much better accuracy. Note: scale each attribute(feature), not sample  
36. % scale to [0 1]  
37. % when a is a vector, b = (a - min(a)) .* (upper - lower) ./ (max(a)-min(a)) + lower  
38. lower = 0;  
39. upper = 1.0;  
40. train_X = train_X‘;  
41. X_max = max(train_X);  
42. X_min = min(train_X);  
43. train_X = (train_X - repmat(X_min, size(train_X, 1), 1)) .* (upper - lower) ...  
44.             ./ repmat((X_max - X_min), size(train_X, 1), 1) + lower;  
45. test_X = test_X‘;  
46. test_X = (test_X - repmat(X_min, size(test_X, 1), 1)) .* (upper - lower) ...  
47.             ./ repmat((X_max - X_min), size(test_X, 1), 1) + lower;  
48. % Note: before scale the accuracy is 80.4688%, after scale it turns to 80.1875%,  
49. % and took more time. So is that my scale operation wrong or other reasons?  
50. % After adding bias, Accuracy = 80.75% (2584/3200)  
51.   
52. %%% step3: Cross Validation for choosing parameter  
53. fprintf(1,‘step3: Cross Validation for choosing parameter c...\n‘);  
54. % the larger c is, more time should be costed  
55. c = [2^-6 2^-5 2^-4 2^-3 2^-2 2^-1 2^0 2^1 2^2 2^3];  
56. max_acc = 0;  
57. tic;  
58. for i = 1 : size(c, 2)  
59.     option = [‘-B 1 -c ‘ num2str(c(i)) ‘ -v 5 -q‘];  
60.     fprintf(1,‘Stage: %d/%d: c = %d, ‘, i, size(c, 2), c(i));  
61.     accuracy = train(train_Y, sparse(train_X), option);   
62.     if accuracy > max_acc  
63.         max_acc = accuracy;  
64.         best_c = i;  
65.     end  
66. end  
67. fprintf(1,‘The best c is c = %d.\n‘, c(best_c));  
68. toc;  
69.   
70. %%% step4: train the model  
71. fprintf(1,‘step4: Training...\n‘);  
72. tic;  
73. option = [‘-c ‘ num2str(c(best_c)) ‘ -B 1 -e 0.001‘];  
74. model = train(train_Y, sparse(train_X), option);  
75. toc;  
76.   
77. %%% step5: test the model  
78. fprintf(1,‘step5: Testing...\n‘);  
79. tic;  
80. [predict_label, accuracy, dec_values] = predict(test_Y, sparse(test_X), model);  
81. toc;  

LibLinear（SVM包）使用說明之（三）實踐