標籤:大資料經驗分享 初識apache hadoop hadoop產生原因
大資料已經成為發展的趨勢,大資料的培訓學習也就應運而生,可是大資料具體學習什麼內容呢,眾說紛紜:
650) this.width=650;" src="http://s5.51cto.com/wyfs02/M02/8A/E0/wKioL1g-YnfinZ-lAAHkit6dzeI620.png-wh_500x0-wm_3-wmp_4-s_1776120251.png" title="11.png" alt="wKioL1g-YnfinZ-lAAHkit6dzeI620.png-wh_50" />
那麼大資料學習到底應該掌握哪些知識呢,筆者根據自己的經驗總結如下:
學習要根據自身情況來定,如果你是零基礎,那就必須先從基礎java開始學起(大資料支援很多開發語言,但企業用的最多的還是JAVA),接下來學習資料結構、linux系統操作、關係型資料庫,夯實基礎之後,再進入大資料的學習,具體可以按照如下體系:
第一階段
CORE JAVA (加**的需重點熟練掌握,其他掌握)
Java基礎**
資料類型,運算子、迴圈,演算法,順序結構程式設計,程式結構,數組及多維陣列
物件導向**
構造方法、控制符、封裝
繼承**
多態**
抽象類別、介面**
常用類
集合Collection、list**
HashSet、TreeSet、Collection
集合類Map**
異常,File
檔案/流**
資料流和物件流程**
線程(理解即可)
網路通訊(理解即可)
第二階段
資料結構
關係型資料庫
Linux系統操作
Linux作業系統概述,安裝Linux作業系統,圖形介面操作基礎,Linux字元介面基礎,字元介面操作進階,使用者、組群和許可權管理,檔案系統管理,軟體包管理與系統備份,Linux網路設定
(主要掌握Linux作業系統的理論基礎和伺服器配置實踐知識,同時通過大量實驗,著重培養動手能力。瞭解Linux作業系統在行業中的重要地位和廣泛的使用範圍。在學習Linux的基礎上,加深對伺服器作業系統的認識和實踐配置能力。加深對電腦網路基礎知識的理解,並在實踐中加以應用。掌握Linux作業系統的安裝、命令列操作、使用者管理、磁碟管理、檔案系統管理、軟體包管理、進程管理、系統監測和系統故障排除。掌握Linux作業系統的網路設定、DNS、DHCP、HTTP、FTP、SMTP和POP3服務的配置與管理。為更深一步學習其它網路作業系統和軟體系統開發奠定堅實的基礎。與此同時,如果大家有時間把javaweb及架構學習一番,會讓你的大資料學習更自由一些)
重點掌握:
常見演算法
資料庫表設計,SQL語句,Linux常見命令
第三階段
Hadoop階段
離線分析階段
即時計算階段
重點掌握:
Hadoop基礎,HDFS,MapReduce,分布式叢集,Hive,Hbase,Sqoop
,Pig,Storm即時資料處理平台,Spark平台
以上就是筆者總結的學習階段,建議每個想要學習大資料的人,按照這個學習階段循序漸進,平常也可以關注“大資料cn”和“大資料學習中心”這樣的服務號,不斷完善自己的知識架構,提升自身的理論知識,然後找一個合適的項目,跟著團隊去做項目,積累自己的經驗,相信會在大資料的舞台上展現出很好的自己!
大資料學習一般都學什麼