大資料雲端運算學習內容

標籤：

Linux大綱	1.Linux的介紹，Linux的安裝：VMware Workstation虛擬軟體安裝過程、CentOS虛擬機器安裝過程 2.瞭解機架伺服器，採用真實機架伺服器部署linux 3.Linux的常用命令：常用命令的介紹、常用命令的使用和練習 4.Linux系統進程管理基本原理及相關管理工具如ps、pkill、top、htop等的使用； 5.Linux啟動流程，運行層級詳解，chkconfig詳解 6.VI、VIM編輯器：VI、VIM編輯器的介紹、VI、VIM扥使用和常用快速鍵 7.Linux使用者和組賬戶管理：使用者的管理、組管理 8.Linux磁碟管理，lvm邏輯卷，nfs詳解 9.Linux系統檔案許可權管理：檔案許可權介紹、檔案許可權的操作 10.Linux的RPM軟體包管理：RPM包的介紹、RPM安裝、卸載等操作 11.yum命令，yum源搭建 12.Linux網路：Linux網路的介紹、Linux網路的配置和維護 13.Shell編程：Shell的介紹、Shell指令碼的編寫 14.Linux上常見軟體的安裝：安裝JDK、安裝Tomcat、安裝mysql,web項目部署
大型網站 高並發處理	1．第四層負載平衡       i.Lvs負載平衡【1.負載演算法/2.NAT模式/3.直接路由模式（DR）/4.隧道模式（TUN）】       ii.F5負載平衡器介紹 2．第七層負載平衡【a. Nginx/b. Apache】 3．Tomcat、jvm最佳化提高並發量 4．資料緩衝最佳化       i.快取資料庫【1.Redis/2.Memcached】 5．Lvs+nginx+tomcat+redis|memcache構建二層負載平衡千萬並發處理 6．Haproxy 7．Fastdfs小檔案隔離儲存區 (Isolated Storage)管理 8．Redis緩衝系統【a. Redis基本使用 / b. Redis sentinel高可用 / c. Redis好友推薦演算法】
hadoop 大資料處理	1.Hadoop生態環境介紹 2.Hdfs 3.Mapreduce 4.Hadoop2.x,yarn 5.分散式資料庫Hbase ,hbase最佳化 6.Hive 7.Pig(hadoop計算的另一種架構) 8.資料移轉工具Sqoop 9.Flume資料擷取 10.機器學習架構Mahout 11.Cloudera ,cdh 12.Zookeeper【a. Zookeeper java api開發 / b. Zookeeper rmi高可用分布式叢集開發 / c.Zookeeper redis高可用監控實現】 13.Hadoop項目實戰：中國移動大資料無線網路最佳化系統 14.基於Mapreduce，Lucene或solr或elasticsearch 文本挖掘和搜尋系統構建
Spark 大資料處理	1.Spark介紹：Spark應用情境、Spark和Hadoop MR、Storm的比較和優勢 2.Scala程式設計語言快速上手(Spark是用Scala語言編寫的) 3.Spark概念和編程模型：RDD 、transformation、action、lineage等 4.Spark叢集部署 5.Spark原理：核心組件和常用RDD 6.Spark和Hadoop2.x整合：Spark on Yarn原理、JobServer配置與部署 7.Spark Streaming 8.Spark SQL spark SQL架構，sparksql 編程實戰 9.Spark編程實戰：中國移動無線網路最佳化分析系統
即時資料處理 storm	1.Storm基礎知識 2.Storm叢集的安裝 3.Storm常用組件和編程API 4.Storm結合訊息佇列Kafka 5.Storm Trident 6.Storm DPRCStorm on Yarn 7.Storm開發實戰：商城項目訂單，銷售額，省區銷售實施分析， 流量ip,pv,uv即時分析(Kafka+Storm+Hbase),無線網路最佳化即時監控監控項目
虛擬化 xen、kvm	1.虛擬化介紹，虛擬化適用情境等等 2.Qemu Libvirt & KVM 3.安裝KVM, Qemu, Libvirt 4.QEMU-KVM: 安裝第一個能上網的虛擬機器 5.Kvm虛擬機器 nat,橋接器基本原理 6.kvm虛擬機器複製 7.kvm虛擬機器vnc配置 8.kvm虛擬機器擴充功能磁碟空間 9.Kvm快照 10.Kvm 遷移 11.Java,python,c語言編程式控制制kvm 12.構建自己的虛擬雲平台
docker大綱	1.基本介紹 2.vm docker 對比 3.docker基本架構介紹 4.unfs cgroup namespace 5.進程虛擬化 輕量級虛擬化 6.docker 安裝 7.docker 鏡像製作 8.docker 常用命令 9.docker 鏡像遷移 10.docker pipework【i.openvswitch】 11.docker weave
雲端運算平台 openstack	1.openstack介紹和模組基本原理分析 2.openstack多節點安裝部署【a.採用centos6.x系統】 3.Keystone基本原理 4.glance 5.Cinder 6.Swift 7.Neutron 8.Openstack api 二次開發

大資料雲端運算學習內容