大資料技能圖譜

標籤：

下面是 StuQ 發布的大資料技能圖譜，比較實用，供參考

 

大資料處理架構

Spark
- RDD
- Spark SQL
- Spark Streaming
- MLLib

Hadoop
- HDFS (Distributed File System)
- Mapreduce（計算架構）
- Yarn（資源管理平台）
- Pig（piglatin 語句到 mapreduce 的映射）
- Hive（資料倉儲，提供 SQL）
- Mahout（機器學習演算法的 mapreduce 實現庫）

Kafka
Storm
ELK
- Elasticsearch
- Logstash
- Kibana

資料庫

- SQL
- MySQL
- MongoDB
- Cassandra
- Redis
- SQLite
- bsddb
- HBase

程式設計語言

- Python
- R
- Ruby

資料分析挖掘

- MATLAB
- SPSS
- SAS

資料視覺效果

- R
- D3.js
- ECharts
- Excle

人工智慧

- 聚類
- 時間序列
- 推薦系統
- 迴歸分析
- 文本挖掘
- 決策樹
- 支援向量機
- 貝葉斯分類
- 神經網路

演算法

一致性
- paxos
- raft
- gossip

資料結構
- 棧，隊列，鏈表
- 散列表
- 二叉樹，紅/黑樹狀結構，B樹
- 圖

常用演算法
- 排序（插入排序、桶排序、堆排序、快速排序）
- 最大子數組
- 最長公用子序列
- 最小產生樹
- 最短路徑
- 矩陣的儲存和運算

雲端運算

- 雲端服務（SaaS、PaaS、IaaS）
- Openstack
- Docker

大資料技能圖譜