微軟首席架構師Yaniv Pessach談微軟大資料COSMOS(中文意思是宇宙)

標籤：style   http   io   os   ar   使用   strong   sp   資料   

微軟首席架構師Yaniv Pessach談微軟大資料COSMOS(中文意思是宇宙)

參考：http://www.quora.com/Distributed-Systems/What-is-Microsofts-Cosmos

宇宙是微軟內部巨量資料分析平台。

COSMOS宇宙是由分散式運算組件（有點相當於Hadoop的Map/Reduce了使用微軟Dryad的解決方案，它（不像的map-reduce）允許計算任意DAG。
COSMOS宇宙支援類似SQL的文法（類似於HIVE/PIG），包括分布式儲存群組件（與HDFS）;總體而言，宇宙提供了高度可擴充的，可靠的，容錯以及自動縮放計算的海量資料集的操作。

根據文獻[1]，[3]，宇宙允許使用類似SQL的文法，如

source = EXTRACT col1, col2 FROM “A”
Data = SELECT * FROM source where (condition)

用來提取資料，而不需要明確的Map/Reduce是由使用者開發人員原始的使用它。

SCOPE語言，就像SQL中，還支援[3]等操作符那裡，串連，縮小，以及使用者定義的操作符。這些包括減速器（基本上，輸入解析）等可程式化操作中使用者代碼[1,3]，並且產生平行的，最佳化的[1]“執行計畫”的定義的查詢。

COSMOS宇宙是Microsoft內部使用廣泛，在巨大的伺服器[4]的數量，儲存大量資料，並且每天處理資料量龐大的：“我們每一天以 處理數百個PB量級的資料從必應，AdCenter，MSN和Windows Live“[Software Development Engineer, Principal-BING Job] .

我認為這是所有至今所我們公布。

參考公用資源: Page on Microsoft ?Stuff Yaron Finds Interesting? http://hpts.ws/papers/2011/sessi... ? Page on Microsoft ?Cloud Storage @Microsoft (with the Cosmos Team) is hiring!

 

微軟首席架構師Yaniv Pessach談微軟大資料COSMOS(中文意思是宇宙)