機器學習演算法筆記系列之深入理解主成分分析PCA-原理篇__演算法

Author: shizhixin
Blog: http://blog.csdn.net/shizhixin
Weibo：http://weibo.com/zhixinshi
Email: zstarstone@163.com
Date: 2016-04-14
Note: 本筆記是本人根據網上和書本資料總結，並對所有作者表示感謝，特別感謝致謝文獻中提到的作者。本筆記僅供學習交流。 1 概述

真實的訓練資料總是存在各種各樣的問題：

1、 比如拿到一個汽車的樣本，裡面既有以“千米/每小時”度量的最大速度特徵，也有“英裡/小時”的最大速度特徵，顯然這兩個特徵有一個多餘。

2、 拿到一個數學系的本科生期末考試成績單，裡面有三列，一列是對數學的興趣程度，一列是複習時間，還有一列是考試成績。我們知道要學好數學，需要有濃厚的興趣，所以第二項與第一項強相關，第三項和第二項也是強相關。那是不是可以合并第一項和第二項呢。

3、 拿到一個樣本，特徵非常多，而範例特別少，這樣用迴歸去直接擬合非常困難，容易過度學習。比如北京的樓價：假設房子的特徵是（大小、位置、朝向、是否學區房、建造年代、是否二手、層數、所在層數），搞了這麼多特徵，結果只有不到十個房子的範例。要擬合房子特徵->樓價的這麼多特徵，就會造成過度學習。

4、 這個與第二個有點類似，假設在IR中我們建立的文檔-詞項矩陣中，有兩個詞項為“learn”和“study”，在傳統的向量空間模型中，認為兩者獨立。然而從語義的角度來講，兩者是相似的，而且兩者出現頻率也類似，是不是可以合成為一個特徵呢。

5、 在訊號傳輸過程中，由於通道不是理想的，通道另一端收到的訊號會有噪音擾動，那麼怎麼濾去這些噪音呢。

而這裡的特徵很多是和類標籤有關的，但裡面存在雜訊或者冗餘。在這種情況下，需要一種特徵降維的方法來減少特徵數，減少噪音和冗餘，減少過度學習的可能性。

下面探討一種稱作主成分分析（PCA）的方法來解決部分上述問題。PCA的思想是將n維特徵映射到d維上 (d<n) (d ，這d維是全新的正交特徵。這d維特徵稱為主元，是重新構造出來的d維特徵，而不是簡單地從n維特徵中去除其餘n-d維特徵。 2 引言 內積與投影

導讀：大部分人估計都知道PCA是將資料點向新的方差最大的單位向量做投影，但是什麼是到向量的投影，它和內積又有什麼關係呢。

兩個向量的內積定義為：

(a1,a2,⋯,an)T⋅(b1,b2,⋯,bn)T=a1b1+a2b2+⋯+anbn (a_1,a_2,\cdots,a_n)^\mathsf{T}\cdot (b_1,b_2,\cdots,b_n)^\mathsf{T}=a_1b_1+a_2b_2+\cdots+a_nb_n

兩個向量的內積是一個實數，從數學計算的角度很容易計算出兩個向量的內積，但是怎麼從幾何意義上理解內積呢。
為了簡單，看二維向量的內積。假設有兩個向量 A=(x1,y1)T A=(x_1,y_1)^T 和 B=(x2,y2)T B=(x_2,y_2)^T ，從 A 點對 OB 向量做一條垂線，垂線與 OB 的交點C即為 A 在 B 上的投影，再設 A 與 B 的夾角是 α \alpha，那麼點 A 到 B 的投影長度即為 |A|cos(α) |A|cos(\alpha)。

圖1：內積和投影

向量的內積還有另外一種表達方式：

A⋅B=|A||B|cos(α) A\cdot B=|A||B|cos(\alpha)

即 A 與 B 的內積等於 A 到 B 的投影長度乘以 B 的模。 再進一步，如果我們假設 B 為單位向量，其模為1，即 |B|=1 |B|=1，那麼就變成了：

A⋅B=|A|cos(α) A\cdot B=|A|cos(\alpha)

也就是說，假設向量 B 為單位向量（模為1），則A與單位向量B的內積值等於A向單位向量B所在直線的投影長度，即圖 1 中 OC 的長度。 基與基的座標

如圖 1 所示，眾所周知，向量 B 用點座標表示為