大資料筆記

標籤：

1. 大資料目前代名詞spark，是一個快速的叢集計算系統，它的功能之一是streaming，支援即時的資料流，把即時資料流按時間變為離散資料流 discretized stream，其中每一個離散集合RDD resilient distributed dataset

2. 計算函數包括：flatMap: 一對多，map: 一對一, reduceByKey: 根據key合并value

3. spark的程式中，先建立計算公式，但不會執行，只有spark streaming context start之後才開始執行

4. D的問題是，如何保證在底層結構化的資料流不被割裂，比如在每個RDD做transform的時候不會失敗

5. 一個spark worker/executor 需要一個thread佔用一個核，他們的總數不要超過核的數目

6. 每個Dstream對應一個Receiver，每個spark receiver也需要一個thread

7. 像kafka， 可以細分多個topic，這樣可以用多個Dstream去receive data stream，從而增加了並發度

大資料筆記