特徵值與特徵向量的幾何意義

標籤：

特徵值與特徵向量的幾何意義

 

矩陣的乘法是什麼，別只告訴我只是“前一個矩陣的行乘以後一個矩陣的列”，還會一點的可能還會說“前一個矩陣的列數等於後一個矩陣的行數才能相乘”，然而，這裡卻會和你說——那都是表象。

矩陣乘法真正的含義是變換，我們學《線性代數》一開始就學行變換列變換，那才是線代的核心——別會了點陷阱就忘了本——對，矩陣乘法 就是線性變換，若以其中一個向量A為中心，則B的作用主要是使A發生如下變化：

1. 伸縮

   clf;A = [0, 1, 1, 0, 0;...    1, 1, 0, 0, 1];  % 原空間B = [3 0; 0 2];      % 線性變換矩陣plot(A(1,:),A(2,:), ‘-*‘);hold ongrid on;axis([0 3 0 3]); gtext(‘變換前‘);Y = B * A;plot(Y(1,:),Y(2,:), ‘-r*‘);grid on;axis([0 3 0 3]); gtext(‘變換後‘);

   1

   從可知，y方向進行了2倍的展開，x方向進行了3倍的展開，這就是B=[3 0; 0 2]的功勞,3和2就是伸縮比例。請注意，這時B除了對角線元素為各個維度倍數外，非正對角線元素都為0，因為下面將要看到，對角線元素非0則將會發生切變及旋轉的效果。

2. 切變

   clf;A = [0, 1, 1, 0, 0;...     1, 1, 0, 0, 1];  % 原空間B1 = [1 0; 1 1];       % 線性變換矩陣B2 = [1 0; -1 1];       % 線性變換矩陣B3 = [1 1; 0 1];       % 線性變換矩陣B4 = [1 -1; 0 1];       % 線性變換矩陣Y1 = B1 * A;Y2 = B2 * A;Y3 = B3 * A;Y4 = B4 * A;subplot(2,2,1);plot(A(1,:),A(2,:), ‘-*‘); hold on;plot(Y1(1,:),Y1(2,:), ‘-r*‘);grid on;axis([-1 3 -1 3]);subplot(2,2,2);plot(A(1,:),A(2,:), ‘-*‘); hold on;plot(Y2(1,:),Y2(2,:), ‘-r*‘);grid on;axis([-1 3 -1 3]);subplot(2,2,3);plot(A(1,:),A(2,:), ‘-*‘); hold on;plot(Y3(1,:),Y3(2,:), ‘-r*‘);grid on;axis([-1 3 -1 3]);subplot(2,2,4);plot(A(1,:),A(2,:), ‘-*‘); hold on;plot(Y4(1,:),Y4(2,:), ‘-r*‘);grid on;axis([-1 3 -1 3]);

   2

3. 旋轉

   所有的變換其實都可以通過上面的伸縮和切變變換的到，如果合理地對變換矩陣B取值，能得到圖形旋轉的效果，如下，

   clf;A = [0, 1, 1, 0, 0;...     1, 1, 0, 0, 1];  % 原空間theta = pi/6;B = [cos(theta) sin(theta); -sin(theta) cos(theta)];Y = B * A;figure;plot(A(1,:),A(2,:), ‘-*‘); hold on;plot(Y(1,:),Y(2,:), ‘-r*‘);grid on;axis([-1 3 -1 3]);

   3

好，關於矩陣乘就這些了。那麼，我們接著就進入主題了，對特定的向量，經過一種方陣變換，經過該變換後，向量的方向不變（或只是反向），而只是進行伸縮變化（伸縮值可以是負值，相當於向量的方向反向）？這個時候我們不妨將書上對特徵向量的定義對照一遍：

數學教材定義： 設A是n階方陣，如果存在 λ 和n維非零向量X，使  ，則 λ 稱為方陣A的一個特徵值，X為方陣A對應於或屬於特徵值 λ 的一個特徵向量。

上面特定的向量不就是特徵向量嗎？ λ 不就是那個伸縮的倍數嗎？因此，特徵向量的代數上含義是：將矩陣乘法轉換為數乘操作；特徵向量的幾何含義是：特徵向量通過方陣A變換隻進行伸縮，而保持特徵向量的方向不變。特徵值表示的是這個特徵到底有多重要，類似於權重，而特徵向量在幾何上就是一個點，從原點到該點的方向表示向量的方向。

特徵向量有一個重要的性質：同一特徵值的任意多個特徵向量的線性組合仍然是A屬於同一特徵值的特徵向量。關於特徵值，網上有一段關於“特徵值是震動的譜”的解釋：

戲說在朝代宋的時候，我國就與發現矩陣特徵值理論的機會擦肩而過。話說沒有出息的秦少遊在往池塘裡扔了一顆小石頭後，剛得到一句“投石沖開水底天”的泡妞詩對之後，就猴急猴急地去洞房了，全然沒有想到水波中隱含著矩陣的特徵值及特徵向量的科學大道理。大概地說，水面附近的任一點水珠在原處上下震動（實際上在做近似圓周運動），並沒有隨著波浪向外圈移動，同時這些上下震動的水珠的幅度在漸漸層小，直至趨於平靜。在由某塊有著特定品質和形狀的石頭被以某種角度和速度投入某個面積和深度特定的水池中所決定的某個矩陣中，紋波蕩漾中水珠的漸層過程中其特徵值起著決定性的作用，它決定著水珠震動的頻率和幅度減弱的衰退率。

在理解關于振動的特徵值和特徵向量的過程中，需要加入複向量和複矩陣的概念，因為在實際應用中，實向量和實矩陣是幹不了多少事的。機械震動和電震動有頻譜，震動的某個頻率具有某個幅度；那麼矩陣也有矩陣的譜，矩陣的譜就是矩陣特徵值的概念，是矩陣所固有的特性，所有的特徵值形成了矩陣的一個頻譜，每個特徵值是矩陣的一個“諧振頻點”。

美國數學家斯特讓（G..Strang）在其經典教材《線性代數及其應用》中這樣介紹了特徵值作為頻率的物理意義，他說：

大概最簡單的例子（我從不相信其真實性，雖然據說1831年有一橋樑毀於此因）是一對士兵通過橋樑的例子。傳統上，他們要停止齊步前進而要散步通過。這個理由是因為他們可能以等於橋的特徵值之一的頻率齊步行進，從而將發生共振。就像孩子的鞦韆那樣，你一旦注意到一個鞦韆的頻率，和此頻率相配，你就使頻率蕩得更高。一個工程師總是試圖使他的橋樑或他的火箭的自然頻率遠離風的頻率或液體燃料的頻率；而在另一種極端情況，一個證券經紀人則盡畢生精力於努力到達市場的自然頻率線。特徵值是幾乎任何一個動力系統的最重要的特徵。

其實，這個矩陣之所以能形成“頻率的譜”，就是因為矩陣在特徵向量所指的方向上具有對向量產生恒定的變換作用：增強（或減弱）特徵向量的作用。進一步的，如果矩陣持續地疊代作用於向量，那麼特徵向量的就會凸現出來。

更多關於特徵向量及特徵值的實際例子參見Wikipedia： http://zh.wikipedia.org/wiki/特徵向量 。

特徵值分解

設A有n個特徵值及特徵向量，則：

將上面的寫到一起成矩陣形式：

若(x1,x2,...,xn)可逆，則左右兩邊都求逆，則方陣A可直接通過特徵值和特徵向量進行唯一的表示，令

Q=(x1,x2,...,xn)

Σ?=?diag(λ1,?λ2,?...,?λn)

則  ，該運算式稱為方陣的特徵值分解，這樣方陣A就被特徵值和特徵向量唯一表示。

一個變換方陣的所有特徵向量組成了這個變換矩陣的一組基。所謂基，可以理解為座標系的軸。我們平常用到的大多是直角座標系，線上性代數中可以把這個座標系扭曲、展開、旋轉，稱為基變換。我們可以按需求去設定基，但是基的軸之間必須是線性無關的，也就是保證座標系的不同軸不要指向同一個方向或可以被別的軸組合而成，否則的話原來的空間就“撐”不起來了。從線性空間的角度看，在一個定義了內積的線性空間裡，對一個N階對稱方陣進行特徵分解，就是產生了該空間的N個標準正交基，然後把矩陣投影到這N個基上。N個特徵向量就是N個標準正交基，而特徵值的模則代表矩陣在每個基上的投影長度。特徵值越大，說明矩陣在對應的特徵向量上的方差越大，功率越大，資訊量越多。不過，特徵值分解也有很多的局限，比如說變換的矩陣必須是方陣。

在機器學習特徵提取中，意思就是最大特徵值對應的特徵向量方向上包含最多的資訊量，如果某幾個特徵值很小，說明這幾個方向資訊量很小，可以用來降維，也就是刪除小特徵值對應方向的資料，只保留大特徵值方向對應的資料，這樣做以後資料量減小，但有用資訊量變化不大，PCA降維就是基於這種思路。

Matlab中通過eig函數就可求得特徵值和特徵向量矩陣。

>> B = [ 3     -2      -.9    2*eps     -2      4       1    -eps     -eps/4  eps/2  -1     0     -.5    -.5      .1    1   ]B =    3.0000   -2.0000   -0.9000    0.0000   -2.0000    4.0000    1.0000   -0.0000   -0.0000    0.0000   -1.0000         0   -0.5000   -0.5000    0.1000    1.0000>> [V D] = eig(B)V =    0.6153   -0.4176   -0.0000   -0.1437   -0.7881   -0.3261   -0.0000    0.1264   -0.0000   -0.0000   -0.0000   -0.9196    0.0189    0.8481    1.0000    0.3432D =    5.5616         0         0         0         0    1.4384         0         0         0         0    1.0000         0         0         0         0   -1.0000

D對角線的元素即為特徵值（表示了伸縮的比例），D就是特徵值分解公式中的Q，V的每一列與D沒列對應，表示對應的特徵向量，即特徵值分解中的Σ。

奇異值分解

特徵值分解是一個提取矩陣特徵很不錯的方法，但是它只適用於方陣。而在現實的世界中，我們看到的大部分矩陣都不是方陣，比如說有M個學生，每個學生有N科成績，這樣形成的一個M * N的矩陣就可能不是方陣，我們怎樣才能像描述特徵值一樣描述這樣一般矩陣呢的重要特徵呢？奇異值分解就是用來幹這個事的，奇異值分解是一個能適用於任意的矩陣的一種分解的方法。我們有必要先說說特徵值和奇異值之間的關係。

對於特徵值分解公式， ATA 是方陣，我們求 ATA 的特徵值，即  ，此時求得的特徵值就對應奇異值的平方，求得的特徵向量v稱為右奇異向量，另外還可以得到：

所求的ui就是左奇異向量， σi 就是奇異值。已有人對SVD的幾何機理做了清晰的分析，非常受用，就不重複造輪子，下文為轉載自http://blog.sciencenet.cn/blog-696950-699432.html 。

特徵值與特徵向量的幾何意義