Python 疏鬆陣列-sparse 儲存和轉換，python矩陣-sparse

Python 疏鬆陣列-sparse 儲存和轉換，python矩陣-sparse

疏鬆陣列-sparsep

from scipy import sparse

疏鬆陣列的儲存形式

在科學與工程領域中求解線性模型時經常出現許多大型的矩陣，這些矩陣中大部分的元素都為0，被稱為疏鬆陣列。用NumPy的ndarray數組儲存這樣的矩陣，將很浪費記憶體，由於矩陣的稀疏特性，可以通過只儲存非零元素的相關資訊，從而節約記憶體的使用。此外，針對這種特殊結構的矩陣編寫運算函數，也可以提高矩陣的運算速度。

scipy.sparse庫中提供了多種表示疏鬆陣列的格式，每種格式都有不同的用處，其中dok_matrix和lil_matrix適合逐漸添加元素。

dok_matrix從dict繼承，它採用字典儲存矩陣中不為0的元素：字典的鍵是一個儲存元素(行,列)資訊的元組，其對應的值為矩陣中位於(行,列)中的元素值。顯然字典格式的疏鬆陣列很適合單個元素的添加、刪除和存取操作。通常用來逐漸添加非零元素，然後轉換成其它支援快速運算的格式。

a = sparse.dok_matrix((10, 5))a[2:5, 3] = 1.0, 2.0, 3.0print a.keys()print a.values()

[(2, 3), (3, 3), (4, 3)][1.0, 2.0, 3.0]

lil_matrix使用兩個列表儲存非零元素。data儲存每行中的非零元素，rows儲存非零元素所在的列。這種格式也很適合逐個添加元素，並且能快速擷取行相關的資料。

b = sparse.lil_matrix((10, 5))b[2, 3] = 1.0b[3, 4] = 2.0b[3, 2] = 3.0print b.dataprint b.rows

[[] [] [1.0] [3.0, 2.0] [] [] [] [] [] []][[] [] [3] [2, 4] [] [] [] [] [] []]

coo_matrix採用三個數組row、col和data儲存非零元素的資訊。這三個數組的長度相同，row儲存元素的行，col儲存元素的列，data儲存元素的值。coo_matrix不支援元素的存取和增刪，一旦建立之後，除了將之轉換成其它格式的矩陣，幾乎無法對其做任何操作和矩陣運算。

coo_matrix支援重複元素，即同一行列座標可以出現多次，當轉換為其它格式的矩陣時，將對同一行列座標組應的多個值進行求和。在下面的例子中，(2, 3)對應兩個值：1和10，將其轉換為ndarray數組時這兩個值加在一起，所以最終矩陣中(2, 3)座標上的值為11。

許多疏鬆陣列的資料都是採用這種格式儲存在檔案中的，例如某個CSV檔案中可能有這樣三列：“使用者ID，商品ID，評價值”。採用numpy.loadtxt或pandas.read_csv將資料讀入之後，可以通過coo_matrix快速將其轉換成疏鬆陣列：矩陣的每行對應一位使用者，每列對應一件商品，而元素值為使用者對商品的評價。

row = [2, 3, 3, 2]col = [3, 4, 2, 3]data = [1, 2, 3, 10]c = sparse.coo_matrix((data, (row, col)), shape=(5, 6))print c.col, c.row, c.dataprint c.toarray()

[3 4 2 3] [2 3 3 2] [ 1 2 3 10][[ 0 0 0 0 0 0] [ 0 0 0 0 0 0] [ 0 0 0 11 0 0] [ 0 0 3 0 2 0] [ 0 0 0 0 0 0]]

個人操作中選擇，coo_matrix 選在因為涉及疏鬆陣列運算，但是如果不用其他形式儲存則複雜度太高（時間和空間）1000*1000的matrix大約話2h，也是要命了。無奈想到了Pajek軟體中資料的輸入格式三元組：

所以想到將自己的資料處理成類似的三元組！

即“matrix矩陣”—>"tuple三元組"—>"sparseMatrix2tuple"—>"scipy.sparse"

 感謝閱讀，希望能協助到大家，謝謝大家對本站的支援！