Hadoop成為打開大資料之門金鑰匙

2013年11月22-23日，作為國內唯一專注于Hadoop技術與應用分享的大規模行業盛會，2013 Hadoop中國技術峰會（China Hadoop Summit 2013）于北京福朋喜來登集團酒店隆重舉行。 來自國內外各行業領域的近千名CIO、CTO、架構師、IT經理、諮詢顧問、工程師、Hadoop技術愛好者，以及從事Hadoop研究與推廣的IT廠商和技術專家將共襄盛舉。

Hadoop中國技術峰會由China Hadoop Summit專家委員會主辦，由IT168、ITPUB、ChinaUnix協辦，渠達傳媒負責承辦。 本屆大會將秉承「效能、應用、創新」為主題，旨在通過開放、廣泛的分享和交流，著力于促進中國企業使用者提高應用Hadoop的能力和水準，降低Hadoop技術應用門檻和投資預算門檻，推廣大資料的應用價值。 以下為京東技術副總裁兼首席科學家何剛先生的演講實錄。

▲京東技術副總裁兼首席科學家 何剛

2010年以來，隨著網路社交的成熟，移動互聯網的飛速發展，網路購物的強勢增長，以及雲計算、物聯網的廣泛應用，產生了更多更複雜的應用，也使更多的行動裝置和智慧終端機接入到網路，個人家庭和企業基本實現了24小時線上狀態， 由此產生的資料及增長速度比歷史上時期都要快。 資訊量每年以59%的速度在增長，IDC的研究全球資料量大約每兩年翻一番，預計2020年世界上存儲總量達到35個GB.

使用者的文檔、網路內容、社交媒體等，資料種類的格式也日漸豐富，半結構化和非結構化的資料也是幾何級數的增長，資料的採集和處理也必須是即時迅速的，總之海量多樣和即時是大資料的顯著特徵。

中國作為世界大國之一，作為全球為數不多的快速發展經濟體，國內線民規模、移動使用者規模、智慧終端機使用者規模和增速在全世界都是首屈一指。 企業和政府的資訊化有巨大的挖掘的廣度和深度，意味著中國的資料超市是全球含金量最大的大資料金礦。 也許2012年大資料高富帥的時髦詞彙，2013年屌絲和土豪也可以跟你聊聊什麼是大資料。 2013年是全民大資料時代已經上升為國民戰略，奧巴馬將大資料戰略上升為國家意志，這是未來的「新石油」,將成為綜合國力的重要的組成部分。

未來對資料的佔有和控制甚至將成為路權、海權、空權之外的另一種國家資產，隨著資料的爆炸，資料的採集、挖掘、分享等任務將是牽一發動全身的挑戰，人類可以發現新的知識和價值，帶來大科技、大知識、大發展。

今年大資料也走進了中國政府的視野，廣州和重慶發佈了政府大通話方案，十三屆三中全會多出提及統計、稅收、房地產等關鍵領域的統一資料平臺，大資料是推動政府轉型的重要的禮器。 大資料也將成為中國的國家戰略。

我們面前是一個體量非常大的資料集，採集、存儲、計算是以往無法完成的，2006年Hadoop誕生，隨著越來越多的使用者的加入，不斷的使用貢獻和完善，形成了強大的生態企業，從09年開始隨著雲計算和大資料飛速發展， Hadoop作為海量資料分析的最佳解決方案，開始受到IT廠商和互聯網企業的關注，出現了很多Hadoop的商業版和支援Hadoop的產品，例如雅虎使用四千個節點的機群運行，包括存儲日誌和資料， Hadoop技術憑藉可以關聯結構化和非結構化資料的能力，擴展的成本低廉，高可靠、高性能等優勢正在對全球大資料產業發揮著重要的技術工具作用。

國內基於Hadoop的應用也已經落地開花，尤其是互聯網領域，熟練掌握了並在廣告搜索等領域廣泛的Hadoop技術，京東商城Hadoop商城也是應用倉儲配送等資料， 中國的高校和科研院所基於Hadoop包括系統優化和安全性上做了研究，多以開源的形式回饋給Hadoop社區。 新的業務模式會不斷的湧現，Hadoop也在向電信、電子商務、生物製藥等領域拓展，相信中國這片大資料沃土讓，依靠所有同行的創造性工作，Hadoop技術將會不斷完善，Hadoop的商業專案會遍地開花， 為中國大資料產業發展提供更多的推動力。

各位，大資料浪潮已經不可逆轉，以Hadoop為代表的技術成為了推動歷史的車輪，讓我們共同來完成我們的歷史使命吧，我的演講到此結束，並預祝大會順利召開，謝謝大家！