Spark api介紹一_Spark

http://blog.csdn.net/jewes/article/details/39896301

針對於map和reduce進行了相關的介紹，還比較通俗易懂，做個標記，感謝原文作者

並行集合的一個重要參數是slices，表示資料集切分的份數。Spark將會在叢集上為每一份資料起一個任務。典型地，你可以在叢集的每個CPU上分布2-4個slices. 一般來說，Spark會嘗試根據叢集的狀況，來自動設定slices的數目。然而，你也可以通過傳遞給parallelize的第二個參數來進行手動設定。（例如：sc.parallelize(data, 3)).