大資料架構師技能圖譜

標籤：

大資料通用處理平台

1. Spark
2. Flink
3. Hadoop

分布式儲存

HDFS

資源調度

Yarn

Mesos

機器學習工具

Mahout

1. Spark Mlib
2. TensorFlow (Google 系)
3. Amazon Machine Learning
4. DMTK (微軟分布式機器學習工具)

 

資料分析/資料倉儲(SQL類)

1. Pig
2. Hive
3. kylin
4. Spark SQL,
5. Spark DataFrame
6. Impala
7. Phoenix
8. ELK

8.1 Elasticsearch

8.2Logstash

8.3Kibana

訊息佇列

1. Kafka(純日誌類，大輸送量)
2. RocketMQ
3. ZeroMQ
4. ActiveMQ
5. RabbitMQ

流式計算

1. Storm/JStorm
2. Spark Streaming
3. Flink

日誌收集

Scribe

Flume

程式設計語言

1. Java
2. Python
3. R
4. Ruby
5. Scala

資料分析挖掘

MATLAB

SPSS

SAS

資料視覺效果

1. R
2. D3.js
3. ECharts
4. Excle
5. Python

機器學習

機器學習基礎

1. 聚類
2. 時間序列
3. 推薦系統
4. 迴歸分析
5. 文本挖掘
6. 決策樹
7. 支援向量機
8. 貝葉斯分類
9. 神經網路

機器學習工具

1. Mahout
2. Spark Mlib
3. TensorFlow (Google 系)
4. Amazon Machine Learning
5. DMTK (微軟分布式機器學習工具)

演算法

一致性

1. paxos
2. raft
3. gossip

資料結構

1. 棧，隊列，鏈表
2. 散列表
3. 二叉樹，紅/黑樹狀結構，B樹
4. 圖

常用演算法

1.排序

插入排序

桶排序

堆排序

2.快速排序

3,最大子數組

4.最長公用子序列

5.最小產生樹

最短路徑

6.矩陣的儲存和運算

雲端運算

雲端服務

1. SaaS
2. PaaS
3. IaaS
4. Openstack
5. Docker

End.

轉自：http://www.36dsj.com/archives/4520

來源：http://www.ha97.com/5734.html

大資料架構師技能圖譜