Python/Numpy大資料編程經驗

標籤：

Python/Numpy大資料編程經驗1.邊處理邊儲存資料，不要處理完了一次性儲存。不然程式跑了幾小時甚至幾天后掛了，就啥也沒有了。即使部分結果不能實用，也可以剖析器流程的問題或者資料的特點。 2. 及時用 del 釋放大塊記憶體。Python預設是在變數範圍（variablescope）之外才釋放一個變數，哪怕這個變數在後面的代碼沒有再被用到，所以需要手動釋放大的array。   注意所有對數組的引用都del之後，數組才會被del。這些引用包括A[2:]這樣的view，即使np.split也只是建立了view，沒有真的把記憶體分到不同的array裡。 3. 矩陣點乘對角陣，用逐行乘可以快幾十、幾百倍：M.dot( diag(v) ) -> M*v。 4. 盡量重用記憶體。比如    sqrtW = np.sqrt(W)    (W以後再沒有用到了)    這樣多了分配sqrtW記憶體的時間   可以改寫成     np.sqrt(W,W) # in placesqrt    sqrtW = W # take auser-friendly name as its reference    類似的    A = B + C # B is neverused later   可以改寫成     B += C; A = B 4. 用 ipython 的 run -p prog.py 做profiling，找出耗時最多的語句。   也可以實現簡單的Timer類，列印出耗時流程使用的時間。 5. 把實際代碼高度簡化，只留下使用相同大小的記憶體和相同多的運算的skeleton，來事先評估演算法的時間和空間複雜度。而且可以分塊評估。比如    …… complex and slowroutine to compute V11, Wsum, Gwmean ......       for i in xrange(noncore_size):           wi = Wsum[ i ]           VW = V11.T* wi           VWV =VW.dot(V11)           V21[ i] =np.linalg.inv(VWV).dot( VW.dot(Gwmean[ i]) )  可以寫個test.py，用 np.random.randn() 隨機初始化 V11,Wsum, Gwmean，然後執行這個代碼塊，看出大致所需記憶體和每個迴圈的時間，避免了執行之前漫長的計算這些變數的時間。 6.如果是windows，把windows自動安裝更新的選項關掉。不然可能跑了一夜程式，收結果時一看，windows自動重啟過了……哭

Python/Numpy大資料編程經驗