spart快速大資料分析學習提綱(一)

標籤：

Spart是什麼

Spart是一個用來實現快速而而通用的叢集計算平台。

在速度方面，Spart擴充了廣泛使用的Mapreduce計算模型，而且高效的支援更多的計算模式，包括互動式查詢和流處理。Spart的一個主要特點是能夠在記憶體中進行計算，因而更快。即使必須在硬碟上進行複雜計算，Spart依然比Mapreduce快。

Spart適用於各種各樣原先需要多種不同分布式平台的情境，包括批處理,迭代演算法，互動式查詢，流處理。通過在一個統一的架構下支援這些不同的計算，Spart使我們可以簡單而低耗的把各種處理流程整合在一起，不僅如此這種特性還大大減輕了原先需要對各種平台分別管理的負擔。

1. Spart Core

   Spart Core實現Spart的準系統，包含任務調度，記憶體管理，錯誤恢複，與儲存系統互動。Spart Core中包含對彈性分布式資料集(RDD)的API的定義.。RDD表示分布在多個電腦節點上可以並行操作的元素的集合，是Spart主要的編程抽象。

2. Spart SQL

   Spart SQL是Spart用來操作結構化資料的程式包，通過Spart SQL ，我們可以使用SQL或 Apache Hive版本的SQL來查詢資料。

3. Spart Streamig

   Spart Streamig是Spart提供的對即時資料進行流式計算的組件。如生產環境中網頁伺服器日誌，或是網路服務中使用者提交的狀態更新群組成的訊息列隊，都是資料流。

4. MLlib

   Spart中提供常見的機器學習功能的程式褲，叫做MLlib。MLlib提供的機器學習演算法，包括分類，迴歸，聚類，協同過濾，決策樹，還提供模型評估，資料匯入等功能。

5. Graphx

   Graphx是用來操作圖(如社交關係圖)的程式庫，可以進行並行的圖計算。

 

spart快速大資料分析學習提綱(一)