專訪童小軍：Hadoop是未來大資料的標準

2013年11月22-23日，作為國內唯一專注于Hadoop技術與應用分享的大規模行業盛會，2013 Hadoop中國技術峰會(China Hadoop Summit 2013)將于北京福朋喜來登集團酒店隆重舉行。 屆時，來自國內外各行業領域的近千名CIO、CTO、架構師、IT經理、諮詢顧問、工程師、Hadoop技術愛好者，以及從事Hadoop研究與推廣的IT廠商和技術專家將共襄盛舉。

Haoop中國技術峰會由China Hadoop Summit專家委員會主辦，由IT168、ITPUB、ChinaUnix協辦，渠達傳媒負責承辦。 本屆大會將秉承「效能、應用、創新」為主題，旨在通過開放、廣泛的分享和交流，著力于促進中國企業使用者提高應用Hadoop的能力和水準，降低Hadoop技術應用門檻和投資預算門檻，推廣大資料的應用價值。

在2013 Hadoop中國技術峰會即將召開之際，記者採訪到大會專家委員會成員——Hadoop大資料紅象(RedHadoop)雲騰公司創始人童小軍。 他是EasyHadoop開源社區創立者、Hadoop雲計算講師，專注于Hadoop大資料技術的普及和推廣工作，致力於讓Hadoop大資料應用更簡單。 在採訪中，他向記者介紹了自己與Hadoop的故事，以及Hadoop的現狀與未來。

與Hadoop的不解之緣

從初識、初用Hadoop到EasyHadoop，再到RedHadoop，童小軍與Hadoop結下了不解之緣。 最初，作為技術愛好者，童小軍開始關注Google的三篇論文(GFS、BigTable、MapReduce)，並在隨後的博客搜尋引擎和自動分類的核心開發工作中用到Lucene類庫，它與Hadoop出自同一位作者——Doug Cutting。

在暴風影音做搜尋引擎工作時，童小軍獲得從零開始做Hadoop的機會。 在啟動Hadoop計畫之前，他與同事們嘗試了好幾種資料倉儲方案都沒有成功，最終鋌而走險決定上Hadoop。 通過對淘寶資料平臺架構的調研，專案核心成員逐步設計出CronHub調度器、ComEtl資料分析、FriDay報表平臺、phpHiveAdmin平臺等，並將資料原有平臺遷移至新平臺。

為了讓其他人少走彎路，童小軍註冊了easyHadoop.com功能變數名稱，把自動部署腳本開放給網友下載，使很多人獲得了説明。 EasyHadoop社區在朋友們的説明下越做越大，到目前為止共舉辦過9次技術聚會活動，單個群有2000人左右。

今年5月，童小軍成立了RedHadoop公司，組建第一批開發團隊。 經過幾個月的努力，公司發佈了RedHadoop Enterprise Edition 1版本，並在後續會推出針對個人學習使用的RedHadoop Personal Edition， 讓更多人能學會和用上Hadoop是RedHadoop一直追求和為之努力的事情。

與Hadoop的緣分，童小軍總結到：「總體來說走了不少彎路，但最終殊途同歸了，一句話：做事得有堅持到底、樂於探索、敢於冒險和樂於分享的心態，不斷總結和優化，並將自己瞭解到的分享給更多人。 用心培養一個開放的研發團隊，發現每個人的獨特價值，讓每個人發出自己的光和熱。 給自己機會，也多給別人創造機會。 」

Hadoop是未來大資料的標準

談到Hadoop的應用，童小軍認為Hadoop從互聯網應用發展而來，已經在互聯網公司得到大規模應用。 比如在百度有上萬個節點集群，在淘寶有幾千個節點存儲幾十個P的集群。 目前，Hadoop在非互聯網行業也開始了探索和使用，主要用於補充原有IOE平臺處理海量日誌的問題，用於資料倉儲平臺構建。 其中電信領域已經比較成熟，在交通、電力等領域正在跟進，在技術選型上比較保守的銀行業也在用Hadoop做備份，只是在總體商業模式上並無突破。

Hadoop平臺如果要在非互聯網行業得到大規模應用，在資料安全性和易用性上還有待改進，需要提供更多類似SQL的易用查詢介面。 在Hadoop 2.0出來後，希望Hive 2.0也能平臺化發展，支援更多儲存引擎，一個平臺化的Hive會帶來更多驚喜。 童小軍認為Hadoop是未來大資料的標準，已發展成分散式的作業系統平臺。

▲Hadoop大資料紅象(RedHadoop)雲騰公司創始人 童小軍

對於Hadoop初學者，童小軍建議要多實踐、多分享，一定要熱情和勇敢。 Hadoop 有一個U型學習曲線，剛開始很難，如Hadoop安裝、部署、調試和測試階段。 Hadoop需要多個元件配合，每個元件都有依賴，判斷是否成功不容易。 當度過難關進入試用期間就簡單了，普通SQL、腳本、MapReduce 就能應對一些統計工作。 當集群規模變大，集群平臺化發展，深入到機器學習和各行各業深度定制，難度又增加了。 其中最大的感觸是要敢於嘗試，敢於把系統部署上線。

作為這次大會內容的組織方之一，童小軍希望這次大會能更深入到行業中，提供整個行業技術發展的同時，能挖掘更多行業的案例，樹立更多行業成功運用Hadoop的典型。 期待這次大會Hortonworks Jeff 帶來的Hadoop2.0熱潮，Hadoop愛好者更多的參與其中。

據悉，Hadoop中國技術峰會2013是國內基於Hadoop平臺的第一次全產業鏈的大資料行業技術峰會，大會將圍繞Hadoop生態系統展開全方位的技術分享、專題討論與成果展示。 大會議題將涉及以下七大方面：Hadoop技術創新、Hadoop基礎架構部署與優化、虛擬化與Hadoop、Hadoop在互聯網領域的應用、Hadoop在非互聯網行業的應用、Hadoop與企業現有IT架構的整合、 大資料創業與投資。

更多精彩盡在2013年11月22～23日的Hadoop中國技術峰會(China Hadoop Summit 2013)，北京永泰福朋喜來登酒店。