大資料浪潮催生眾多熱門職業

事實上，麥肯錫全球研究院的研究預測在未來6年，僅在美國本土就可能面臨缺乏14萬至19萬具備深入分析資料能力人才的情況，同時具備通過分析大資料並為企業做出有效決策的資料的管理員和分析師也有150萬人的缺口。

Ventana研究公司的分析師David Menninger指出在其公司最近所作的一項調查顯示，在169位公司高管中有四分之三的人認為技術人員缺乏是企業無從應對大資料挑戰的重要因素。

Hadoop除了核心設計思想MapReduce和HDFS（Hadoop Distributed File System）外，Hadoop還包括了從類SQL查詢語言HQL，到NoSQL HBase資料庫（NoSQL資料庫通常用來處理非結構化的資料，包括音頻、視頻等。），以及機器學習庫Mahout等內容。Cloudera、Hortonworks和MapR都已在他們的分布式系統中加入了Hadoop項目。

而MapReduce編程模式可以被認作是雲端運算技術實現的靈魂。MapReduce是一種處理大型及超大型資料集並產生相關的的執行的編程模型，其主要思想是從函數式程式設計語言借鑒而來，同時包括從向量程式設計語言借來的特性。

TechTarget的特約編輯Beth Stackpole就指出當今管理傳統結構化資料環境的團隊確實相當專業，但面對向Hadoop和MapReduce等開源大資料技術時則顯得有些無從應對。導致這其中的原因是應對傳統關聯式資料庫的技能無法轉化為應對大資料世界中海量非結構化資料的技能。而NoSQL資料庫技術恰恰是根據新型平台核心構建的。

大資料時代的熱門職業

大資料處理系統管理員

大資料處理系統管理員負責日常Hadoop叢集正常運行。例如直接或間接的管理硬體，當需要添加硬體時需保證叢集仍能夠穩定運行。同時還要負責系統監控和配置，保證Hadoop與其他系統的有機結合。

大資料處理平台開發人員

大資料處理平台開發人員負責構建大資料處理平台以及用來分析資料的應用。由於其在開發領域已具備相關的經驗，所以比較熟悉相關的工具或演算法。這在編寫、最佳化以及部署各種複雜的MapReduce的工作時會有所協助。運用大資料相關技術的從業人員的作用類似傳統資料庫世界中DBA的定位。

資料分析和資料科學家

資料分析和資料科學家基本屬於同一類別的工作，這些具備專業領域知識的人士研究相應的演算法分析對應的問題，而資料採礦也是其應掌握的重要技術。協助建立推動業務發展的相應的巨量資料產品和大資料解決方案。

資料管家

企業要提高資料品質必須考慮任命資料管家。資料管家需利用Hadoop彙集企業周圍的大量資料，並將資料通過ETL的過程被清洗和正常化，進入到資料倉儲中，成為一個可用的版本。然後，通過報表和分析技術，資料被切片、切塊，並交付給成千上萬的人。擔當資料管家保證市場資料的完整性，準確性，唯一性，真實性和不冗餘。

雖然現今面臨技術人員匱乏的狀況，但也並非絕望。Cloudera公司的Omer Trajman就指出Hadoop做為大資料技術的解決方案並不像學習如何製造火箭那樣困難。幾年前，瞭解Hadoop的人還寥寥無幾，但現在越來越多的人開始學習Hadoop。企業應當鼓勵並培養技術人員學習Hadoop技術。（李智/編譯）

 

http://cloud.csdn.net/a/20120115/310794.html