大資料和雲計算 是分不開的硬幣正反面

「大 資料也需要雲計算這個平臺，這是一個硬幣的正反面。 」阿裡雲總裁王文彬（花名：菲青）與媒體交流時表示。 這幾年IT行業發生了翻天覆地的變化，直到現在大 家依然在談論雲計算。 這雲概念出現當初，業內不斷傳出質疑的聲音，隨著各大雲服務廠商的努力，現在各行各業都已經開始接受了雲計算服務。 2014年7月， 阿裡雲ODPS專案正式對外開放。

伴隨著互聯網與移動互聯網的相關技術不斷成熟，雲計算開始被市場接受，海量資料大潮來襲，廠商和企業紛紛看到了大資料的前景，我們現在已經生活在一個資料的時代。

傳統IT已經被顛覆

阿 裡雲從2009年開始在雲計算服務方面進行研究到目前已經有五個年頭了，這五年中阿裡雲突破了各種各樣的技術難題，從去年的5K集群到今年的ODPS，阿 裡雲已經成為雲服務產業中的領軍人物。 在阿裡雲看來，雲計算和大資料是不可分割的，就好比一個硬幣的兩面，精准的大資料分析依賴于強大的雲計算平臺。

阿 裡雲總裁王文彬表示：大資料和雲時代的到來顛覆了企業傳統IT架構，企業IT進入了雲服務+資料的時代。 傳統IT還存在於購買硬體與軟體的基礎上，而雲服 務將企業IT變為按需購買，從針對硬體與軟體的購買模式上轉變為對服務的統一購買。 隨著移動互聯網加互聯網的來臨，整個模式現在是一個翻天覆地的改變。

大資料帶來的改變

大 資料已經趨於平民化，花個幾百塊錢，人人都可以使用大資料服務，玩轉大資料已經不再是大企業的專屬技能了。 經過五年的積累，阿裡雲計算發佈核武器級別的大 資料產品——ODPS。 通過ODPS線上服務，小公司與小團隊可以對擁有的海量資料進行快速分析挖掘。 阿裡雲總裁王文彬（菲青）表示，ODPS會改變整個 中國，不論雲計算，或者整個大資料的里程碑，所以我們自己一直體會到這個東西。

到底什麼是ODPS

簡單來說，ODPS(Open Data Processing Service)是一項Web服務，大家不用花大錢建資料中心，就能分析海量資料。 我們測過，100PB的資料任務可在6小時內跑完。 這個資料量相當於1億部高清電影。

如何讓資料產生價值？ 先得擁有大規模處理能力，然後才是挖掘、演算法和分析。 傳統的做法是這樣的：租個機房，買一堆昂貴的設備搭建資料倉儲，再請一幫技術人員來維護運轉。 一旦觸發bug，或者當資料總量超過100TB時，你的工程師們可能會被這些麻煩搞崩潰。

Hadoop開源系統很偉大，大大降低了成本。 阿裡是中國玩Hadoop玩得最好的幾家公司之一，Hadoop支撐了淘寶、支付寶早期業務的快速發展。 不過，自建一個像樣的Hadoop集群，得百萬起步資金，專業的Hadoop人才更是稀缺。 門檻還是太高。

ODPS到底能做些什麼

在 國內，說得再好不如有個好的案例。 ODPS已經在阿裡內部進行了大量的使用與測試。 在阿裡內部，第一使用ODPS的是阿裡小貸，阿裡小貸每天得處理 30PB資料，包括店鋪等級、收藏、評價等800億個資訊項，運算100多個資料模型，甚至得測評小企業主對假設情景的掩飾和撒謊程度。 經過長期的測 試，ODPS説明小貸完成了大量的資料計算與分析的工作，從而掌握正確的使用者信譽度。

在未來，人們申請貸款的時候機器就可以完整個流程，根據大資料分析得出的個人信譽度來自動完成相關的信譽評估。

公共領域的資料採礦，可以用ODPS嗎？ 當然！ 結合中國氣象局的精准預報資料，高德地圖不 久後就能告訴你："前方道路已嚴重積水，您的車輛駛入可能會遭水淹，建議繞道行駛。 "如今，每盒藥品上都有一張電子身份證，從生產、流通、儲存、配送、銷 售到使用，全過程的資料都跑在ODPS上，一旦發現問題藥品，監管部門可以立即採取措施。 我們期待未來每一桶油、每一道菜的資料都跑在ODPS上，食品安 全問題需要通過創新的方式來解決。

探秘阿裡雲的「禦膳房」

基於ODPS，阿裡為協力廠商軟體服務商和品牌商提供大資料計算、挖掘、存儲的雲環境開發平臺，構建阿裡資料生態。 通過禦膳房資料超市，資料消費者與資料提供者可以安全地交易、使用海量資料，實現資料價值。

1.豐富的淘寶資料。 目前禦膳房已開放商品、商家、客服績效、品牌四大主題資料，後續會繼續開放行業、競品等主題資料；同時開發者也可以將個人資料上傳使用。

2.指標標準可靠。 開放共建的聚石塔資料標準聯盟，禦膳房提供完善準確的基礎指標定義，計算口徑，檢驗工具等，確保資料標準、唯一可靠。

3.自助計算。 強大穩定的計算能力，提供離線分散式運算平臺及強大的演算法環境，自主提交計算任務，自主開發模型挖掘資料價值，大資料計算快速回應。

4.安全的操作平臺。 禦膳房支援隔離的資料存儲、獨立的資料任務部署，確保禦膳房內的資料交易與資料開發安全防洩漏。

5.靈活資料介面。 開發者可根據需求靈活定制API，資料輸出符合TOP API規範。

6.大資料採礦工具。 禦膳房提供R、Python、MySQL在內的主流大資料採礦工具，支援模型研究與快速反覆運算試驗，提升資料價值。

阿裡內部的登月計畫

2013年10月，為了融合阿裡小貸和支付寶的資料，支付寶希望ODPS團隊協助他們搬家，將支付寶數倉業務從Hadoop機群搬到ODPS上，登月1號專案啟動。 2014年5月，登月1號專案順利成功，小微金融服務的全部資料業務開始基於ODPS發展。

在 2013年底，受到登月1號專案的啟發，阿裡資料平臺團隊聯合技術保證部和集團各事業部，開始了一系列宏大的登月計畫，致力於將搜索、廣告、物流等多個 BU的資料統一，未來ODPS將成為承載阿裡集團全部資料的統一處理平臺。 「登月計畫」共計畫了20多個專案，涉及阿裡巴巴和小微金服所有的事業部，覆蓋 集團全部資料人員，其牽扯人員、資源之多，在集團內部罕見。

從Oracle到Hadoop，阿裡雲解決了海量資料如何存儲和分析的問題，阿裡的資料業務不再受制于規模的瓶頸；從Hadoop到ODPS，更是一次質的飛躍，為後續大資料業務的開展掃清了障礙。