Parallel Python學習

Parallel Python是python的分散式運算模組，其功能是可以以 函數+資料 的形式，將任務分布到Cluster中的各台機器的CPUs上進行運算。 同時Parallel Python的Cluster構建支援Auto Discovery，可以在內網中非常方便的搭建起一個自組織的分散式運算平台。 Parallel Python沒有DFS，可以理解為MapReduce。

學習PP已經有一段時間了，經過實踐得到如下結論：

1. 其不適合有大量資料交換的分布式情境，直接表現為經過出來socket串連自動，遠程機器自動斷開到server的串連
2. 其不適合程式中調用子進程的情境（目前的版本1.6.1還沒有解決）
3. 其不適合大量計算的的分發，主要體現在server計算時間過長，會自動斷開與Client（控制端）的串連
4. 其可控性不強，無法控制Task的分配，從其源碼中可看出，分配Task時優先分配給本機空閑cpu，然後對外是從任務隊列中pop給任何一台機器的空閑CPU處理

 

其比較適合的情境（個人理解）：

1. 分發任務，無需大量資料轉送；高計算程式且每個任務計算時間不長，預設20s
2. 分發可執行體無過於複雜的模組、函數、變數依賴