如果你是世界上廣大Hadoop使用者的一員,你肯定知道Google曾經靠著分散式運算技術(Hadoop),在搜尋引擎和廣告方面取得了舉世矚目的成就。 現在的Hadoop不僅是當年的老二Yahoo的專用產品了,從Hadoop長長的使用者名單中,可以看到Facebook, 可以看到Linkedin,可以看到Amazon,可以看到EMC, eBay,Tweeter,IBM, Microsoft, Apple, HP...
國內的公司有淘寶、百度等等。 而今天我們要探討的是,Hadoop 作為基礎雲計算平臺,除了廣告,IT公司還用哪些方式在利用Hadoop。
1. 線上旅遊
雲計算供應商Cloudera COO Kirk Dunn 表示,目前上80%的世界線上旅遊使用了Cloudera 的Hadoop服務。 他沒有透露具體的名單,但著名的Orbitz Worldwide是我知道的客戶之一。
2. 移動資料
目前Cloudera為美國70%的智慧手機提供Hadoop支援,我們可以確定Dunn講的是無限供應商支援的移動資料儲存和處理。
3. 電子商務
Dunn 表示Cloudia為美國超過1000萬線上商家提供Hadoop服務,eBay是他們的一個大客戶, 因為其要管理一個龐大的個人賣家市場,賣家數量達到1000萬以上。 而Ebay在用Hadoop服務90天后,純利潤增加了3%。
4. 能源發現
雪佛龍代表解釋了他們公司利用Hadoop的實例:通過分類和處理海洋地震資料可以預測石油儲備狀況。
5. 節能
雪佛龍代表同時還表示Hadoop還用在節能上,雪佛龍利用Hadoop來支援其節能系統,顧客們按照系統提示節能的同時也節省了不少錢。 而相關人士甚至表示這個理念可以用到精確和長期的基金預測上。
6. 基礎架構管理
越來越多的IT公司在收集和分析他們的伺服器資料,在Cloudera討論會上, NetApp代表表示他們公司利用Hadoop技術從全部的安裝點上收集設備logs(超過千萬億的logs數量)。
7. 圖片處理
創業公司「Skybox圖片」正是利用Hadoop來儲存和處理圖片的,這些圖片是衛星根據地理變化的模式有規律地抓取的高清圖片。 Skybox最近獲得了7000萬美元的融資。
8. 欺詐識別
這是個經典實用的話題,這在財政機構和情報機構非常有市場。 Cloudera客戶之一Zions Bancorporation表示他們利用Hadoop儲存一切可能預示欺騙性的使用者交易和異常情況資料。
9. IT安全
除了基礎架構管理,IT公司們也開始用Hadoop來處理惡意軟體和網路攻擊資料。 去年Trust
就用hadoop為各種IP評定分數,然後各大公司就可以決定是否接受那些惡意IP的來訪。
10. 醫療健康
目前Apixio正使用Hadoop來説明他們對病人的回答做語義分析,從而説明醫生,護士更好的掌控病情。
Hadoop定義:
1. 一個分散式系統基礎架構,由Apache基金會開發。 使用者可以在不了解分散式底層細節的情況下,開發分散式程式。 充分利用集群的威力高速運算和存儲。
2. Hadoop是一套開源的、基礎是JAVA的、目前能夠讓數千台普通、廉價的伺服器組成一個穩定的、強大的集群,使其能夠對pb級別的大資料進行存儲、計 算。 已經具有了強大穩定的生態系統,也具有很多使用的延伸產品。 比如做查詢的Pig, 做分散式命名服務的ZooKeeper, 做資料庫的Hive等等。
(責任編輯:呂光)