PCA的一點理解

PCA通常用來對特徵降維。比如一個2000維的特徵，我們通過pca降到100維等。

PCA的原理是共變數矩陣。

怎麼理解呢？

比如，我們對一個目標提取了一些特徵，我們說是A特徵，和B特徵吧

但實際上呢，A特徵和B特徵是很相似的，保留一個就可以。那麼怎麼篩選呢？

我們取A和B的共變數。如何值很大，說明彼此的相似性很小，反之則很大。

我們保留大的，去掉小的，就算作是PCA降維度了。

我們這麼舉例：

有100個特徵向量是10維的樣本。上面說了PCA是求特徵直接的相似性，所以我們需要求的是特徵的共變數

計算後我們有了一個10*10的共變數矩陣。

下面就是本科學的線性代數了，對矩陣求特徵值和特徵向量。

特徵值大，表示對應為之的特徵差異性大，我們保留。反之可以根據情況刪除。

加入這裡我們取特徵值大的7個特徵，對應的特徵向量就是10*7的矩陣。

之後我們用100*10的資料與10*7的矩陣相乘，結果就是降維後的特徵。

這個閾值是需要我們人為設定的。

給大家一個matlab代碼：

%pca functionfunction [PCA,W] = MakePca(x,threshold)%x is the feature%threshold is the thresold data = x;data = data-repmat(mean(data,2),1,size(data,2));[W, EvalueMatrix] = eig(cov(data));Evalues = diag(EvalueMatrix);Evalues = Evalues(end:-1:threshold);W = W(:,end:-1:threshold);%W = W'; PCA = data*W;