Hadoop學習入門筆記

1、任務執行過程分為 map -> combiner -> shuffle -> reduce

其中combiner合并函數、shuffle混洗是可選的，甚至reduce也可以沒有

2、hadoop一般使用hdfs的資料分塊大小，避免跨節點讀取資料

3、hadoop會在資料來源本地節點進行map計算

4、reduce接收多個map的輸出結果，從而會造成節點間資料的傳輸

5、合并函數需要是分布式的，其必須不能影響reduce的輸出結果

6、Shuffle函數通常用hash方法，高效

7、Hadoop支援多種語言，只要支援標準輸入和輸出的均可（Hadoop streaming），比如ruby、python等。C++通過Pipes支援，C++的程式不能在本地模式下運行，因為用到hdfs特性