第一章 矩陣和高斯消元法

標籤：

1. 消元法解方程，將矩陣化成上三角或者下三角矩陣：

   有100個等式的方程的消法需要3分之百萬步（乘法和減法），接近百萬步的時候，舍入誤差將會很大。

    

2. 行列式法（當矩陣變大時運算量急劇增大）：

   消元法是當前普遍採用的方法。

    

   從行看，方程角度

   從列看，向量角度

   【從行向量的角度看線性組合Ax=b】

   面方程 ax+by+cz = d a,b,c中可以至多有兩個為0,面只有兩個維度，

   N維方程確定有n-1維的‘面‘（plane）

   線方程 ax+by = 0

   設方程為n維，每添加一個同維度方程（一個新的‘平面‘，空間為n-1維），所確定空間的維度都會減1，要獲得方程唯一解的話，至少要有n個方程

    

   不獨立：兩線平行（重合），兩面平行（重合）或者方程無解（平行，或者不屬於上述兩種情況），注意線是一維的，面是二維的，從線和面自己定義的空間來說

    

   從列向量角度看線性組合:列向量的組合(combination)

    

   開始考慮線性組合的時候從方陣開始考慮，這是問題的出發點。以下大部分使用的都是三階方陣。

   【奇異的情況】：

   注意這些無解的情況對應於幾何表示的無交集和方程求解的無解，要從兩方面去看待解的有無。

   注意平面的法向量。法向量不動而方程值右側改變，會造成平面的平移

   在二維的情況下，平行線是唯一的無解的情況。

   三維情況下，奇異的情況（注意是三維的情況，下面畫出的都是從側面看到的面）：

   對於（b）,三面兩兩相交，交線彼此平行，沒有交集，方程無解，事實上若第三個面不平行於前兩個面的交線，結果一定會有一個交點，而不會出現無解的情形

   對於（c）,用消法解方程會出現0=0的情形，此時有無限個解，這些解都在一條直線上（注意三維情況下無限解只有這種情況和三面重合的情況）。（b）中的面經過平移會出現（c）中的情形

   從列向量的角度：

   無解的情況：

   左邊的三列向量屬於同一個平面，右邊的向量不在這個平面內

   無限解的情況：

   左邊的三列向量屬於同一個平面，右邊的向量也在這個平面內

   確定三個向量在同一個平面內：Ax=0有（非全0）解,則三個向量在同一個平面內。

    

   總結：擴充到n維的情況下，如果n個‘平面（n-1維）‘（plane）沒有交點，或者說有無限個交點（方程角度），那麼這n列向量落在同一‘平面‘內，或者說這n列向量只確定了至多n-1維空間，沒有涉及到第n維空間。

   如果row picture無解的話，那麼coloumn picture自然也不會有解，兩者表示的是同一個問題。

    

   U+v-w = 2 (1)

   2u+3w =5 (2)

   3u+v+4w=6 (3)

3. （1）+(2)=(3)的含義：

   三維情況下點無限，只能是三 列向量 同平面

   因求的是（1）（2）（3）的交集，則點必符合（1）（2）（3）式，則點必符合（1）（2）式，則點必符合（1）+（2）式，實際上（1）（2）式的交集應該是一條直線，這條直線應該是（1）+（2）式代資料表空間的子集，因為（1）+（2）=（3），則（1）（2）（3）的交集就是（1）和（2）相交的直線，所以點是無限個

   再者列向量是否共面其實是和等式右邊沒有關係的，即等式左邊的row picture如果經過簡單變換能變成相加相等的形式就能確定左邊的列向量其實是共面的，只要左邊能換成相等的形式，總能找到符合（1）+（2）=（3）的等式右邊的b,從而左邊列向量是共面的。這個條件是充分的，但是不一定必要。

   確定共面的另一種形式（充分必要條件），令b=0,Ax=b,b=0,若有非全零解，說明列向量是共面的

    

   在進行消法運算中，出現了a!=b：

   也就是說，存在交集的假設根本不成立。。。意思就是沒有交集，你可以認為它是一種反證法。

   【！！交集只是原來集合的子集，這些假設都是建立在這些子集上的，兩方程的和式，差式，均是在交集上成立，而不是全集上成立】

    

   求兩面交線：（1）垂直於兩面的法向量（2）過交線上任意一點。。。但是，三維座標系內會有直線方程存在麼。。。。。。。。。所以結果必須用兩個面來表示，一個方程是沒法表示的

    

   如果（a,b）是（c,d）的倍數，則(a,c)一定是（b,d）的倍數

   （a,b）/n=(c,d) 則 （a,c）=(b,d)/w ，顯而易見，a/n*w=b/n即c*w=d;

    

   高斯消元法：

   實際做的時候可以將後面的自變數去掉，只利用矩陣的形式

   高斯消元法解和奇異性的關係：

   唯一解： 非奇異

   一個pivot position出現0，之後此列剩餘的係數就不能計算得到0，此時可能奇異，也可能是非奇異：因為可以調換行的位置，調換之後計算能夠進行，非奇異，否則就是奇異的。

   非奇異和奇異的情況：

    

   在這些圖中對應的row picture:

   1. 兩面平行，一定會出現兩行相消 0 = x 的情況，若x=0,則兩平行線合一，有無限個解，否則無解

       

      在對row picture進行變換的時候，

    

   對於row picture，若它有唯一解，則再為這個row picture添加一行，消法中最後一行會出現0=0的結果。

    

   1.4 矩陣記法和矩陣乘法

   M equations and n unknowns: m*n矩陣

   Vector:本書中指的是列向量

   Ax=b b叫做非齊次項

   【！！！】矩陣的乘法的兩種解釋形式：

   這種形式很重要，他表示列的和，x是係數

   ：i行j列的元素

   M by n：m行n列

   X = (2,5,0)表示的是列向量，只不過寫成了行的形式。

   I identity matrix單位矩陣

   Eij elementary matrix 初等矩陣

   E在高斯消元法中可以作為Elimination matrix:

   第二行的[-2 1 0]就代表消法的第二行結果為-2倍第一行+第二行，應該需要兩個e才能完成三維的矩陣消法，因為一次只能處理一行。

   【！！】不妨看看多個Elimination matrix相乘的結果，結果很機智，絕對很機智

    

   可以記做：，或者：

    

   [!!]注意當矩陣擴充到如下形式時：

   [!!]注意AB的任一列都是A中所有列的一個組合（2,4）*1+（3,0）*5 = （17,4）

   [!!]或者看成AB的每一行都是B中所有行的一個組合2*[1 2 0]+3*[5 -1 0]=[17 1 0];

    

   換行矩陣：

   矩陣乘法運算律：

   結合律，分配率，不滿交換律（commutative）

    

   幾種特定形狀的矩陣：

   ··

   兩個上三角矩陣的乘積還是上三角矩陣，兩個下三角矩陣的乘積還是下三角矩陣

    

   [!!!]矩陣的第三種計算方法：

    

   A=[1/2 1/2;1/2 1/2], A的不管多少次方都是自己

    

   將矩陣中的元素從頭到尾翻轉：

    

    

   矩陣塊乘法：

   另外三種矩陣乘法計算方法遵從同樣的計算規律，可以將一個塊看成一個整體去計算。只要塊的劃分是正確的。

    

   1.5 三角因子和行交換

   上三角矩陣：upper triangular

   下三角矩陣：lower triangular

    

   [!!!]逆的問題竟然是從高斯消元法匯出的：

    

   L計算的規律：

   L和U似乎是解決問題Ax=b的關鍵:

   LUx=b

   先解A=LU，然後計算c，再計算x

   A good elimination code:

    

   分解的唯一性：

   如果，U‘s是有單位對角線元素的上三角矩陣，

   L是有單位對角元素的下三角矩陣，D的對角線元素沒有0，則L1=L2,D1=D2,

   U1=U2;

   對於置換矩陣P來說，，且

   注意P的記法,P的下標表示的是P所交換的兩行

   P的使用設想：

   當某個pivot接近0的時候，也需要換行，為了減少誤差。

   注意在消元法過程中，如果出現了換行的情況，Elimination Matrix的相應的行也需要跟著改變。

   交換k,r兩行的matlab演算法，r在k下面

   A([r k],:) = A([k r],:); %交換A的K兩行

   L([r k],1:k-1)=L([k r],1:k-1);%交換L的k,r兩行，之後做消元的時候是基於交換過

   %行的矩陣，注意實際交換的是A，是L隨A動

   P([r k],:)=P([k r],:);

   sign = -sign

    

   A good question:

   注意對於來說，其在計算過程中一直保持此種形式

   這就對應了lij為什麼會對號入座的問題，所有X的位置都會照搬到左邊0的位置，對於GFE可不一定是此種形式，因為它的運算順序於此相反，可以很容易的舉出不能對號入座的例子，比如，很明顯最後一行不是[-1 -1 1]。比如另一個例子：

    

    

   A=LDU，若A的元素關於主對角線對稱，則L，U相互對稱

    

   Tridiagonal matrice：

    

   [!!]matlab裡進行LU分解的函數：[L,U,P]=Lu(m);

   Cholesky 分解： R = chol(A); 滿足：

    

   1.6 逆和轉置

    

   逆不存在：當Ax=0,且x不等於0，A無逆

   對於Ax=0，若A是可逆的，則x只有0解

   逆的定義式：

   逆存在：若且唯若消元法產生n個非0 pivots

   每個矩陣的逆是唯一的

   如果A是可逆的，則Ax=b的解唯一：

   因此，有逆對應於矩陣非奇異，無逆對應矩陣奇異

   行列式也可以確定矩陣是否可逆：

   Matlab裡測試矩陣是否可逆是通過找n個非0 pivots的方法

   對角矩陣可逆的充要條件：對角線元素都不為0

   A=LU這個：

    

   Gauss-Jordan method來求逆：

   右邊的inv(L)實際上就是（假設最簡單情況下，沒有行交換）

   U： ：

   如果能求出，則Ax=b一步可解，但是作者更推薦使用A=LU的形式：

    

   注意：當A必須交換行以達到擷取U的目的時，按照上節的規則，我們擷取的是

   PA=LU，Gauss-Jordan方法並沒有採用這種形式（，這才是它採用的形式，兩者並不相同），當行交換時直接整行交換即可，結果是正確的，正好是。

   可逆與否：本書將會從行的獨立性，列的獨立性，非0行列式，非零的特徵值等這些方面去看待，以及與轉置的關係這些方面去看待獨立性。

    

   A 1-sided inverse of a square matrix is automatically a 2-sided inverse.

   1-sided inverse: a left-inverse or a right-inverse

    

   事實上Gauss-Jordan方法獲得的是A的左逆：

   p64

   因為矩陣的各種操作都是乘在A的左邊

    

   左逆等於右逆的證明 p60

   可逆則有n個非零pivots的證明 p64

    

   轉置矩陣：

   證明見p65

    

   對稱矩陣：

   ，必然是方陣

   對稱矩陣不一定是可逆的，如果可逆，其逆一定是對稱的

   即對於任意矩陣上三式一定是對稱矩陣

   是對稱矩陣 是斜對稱矩陣

   都是對稱矩陣，但是兩者通常不相等

   證明P66

   對於permutation matrices來說，。可以發現

    

   【！！】也就是說AB=AC，B和C並不一定相等，而且這種不相等是普遍存在的，而不是只有少數幾種情況。

   但是注意AB有逆可不代表A或者B是可逆的

   若矩陣的某列為全零，則矩陣一定是無法復原的（從角度去看），若某個pivots為0,則此列一定可以變換成全0的形式，故無法復原。

    

    

   【？？】，（a）(c)應該是正確的

    

   Skew-symmetric :

   實際上，可逆性這種性質一直在強調的是唯一性。一個矩陣的逆一定是唯一的，它實際是非奇異性的另一種應用形式。

    

   三元上三角矩陣求逆也是很簡單啊：

    

   若A可逆，則也是可逆的：

   [??]若可逆，則A可逆？（是基於A有逆，由上可知，若A可逆，則也是可逆的）

    

   [!!]在matlab裡，\被用來處理Ax=b的問題，,實際就是b當分子，A當分母，因此使用左除\

    

   分塊矩陣的轉置：，

   ：（a） (c)

    

   下三角矩陣的逆是他本身，下三角矩陣乘下三角矩陣還是下三角矩陣

   對稱矩陣的逆是對稱矩陣，對稱矩陣乘對稱矩陣結果不一定是對稱矩陣

   對角矩陣的逆還是對角矩陣，兩對角矩陣相乘還是對角矩陣

    

   只通過換行或者換列操作無法做到對一個矩陣的轉置

    

   1.7 特殊矩陣和應用

   主要講了三角對稱矩陣在消元法時的所做的運算可以大為簡化，使用了微分方程的例子。

   ，

    

第一章 矩陣和高斯消元法