Druid：一個用於大資料即時處理的開源分布式系統

標籤：

Druid是一個用於大資料即時查詢和分析的高容錯、高效能開源分布式系統，旨在快速處理大規模的資料，並能夠實現快速查詢和分析。尤其是當發生代碼部署、機器故障以及其他產品系統遇到宕機等情況時，Druid仍能夠保持100%正常運行。建立Druid的最初意圖主要是為瞭解決查詢延遲問題，當時試圖使用Hadoop來實現互動式查詢分析，但是很難滿足即時分析的需要。而Druid提供了以互動方式訪問資料的能力，並權衡了查詢的靈活性和效能而採取了特殊的儲存格式。

Druid功能介於PowerDrill和Dremel之間，它幾乎實現了Dremel的所有功能，並且從PowerDrill吸收一些有趣的資料格式。Druid允許以類似Dremel和PowerDrill的方式進行單表查詢，同時還增加了一些新特性，如為局部嵌套資料結構提供列式儲存格式、為快速過濾做索引、即時攝取和查詢、高容錯的分布式體系架構等。從官方得知，Druid的具有以下主要特徵：

• 為分析而設計——Druid是為OLAP工作流程的探索性分析而構建，它支援各種過濾、彙總和查詢等類；
• 快速的互動式查詢——Druid的低延遲資料攝取架構允許事件在它們建立後毫秒內可被查詢到；
• 高可用性——Druid的資料在系統更新時依然可用，規模的擴大和縮小都不會造成資料丟失；
• 可擴充——Druid已實現每天能夠處理數十億事件和TB級資料。

Druid應用最多的是類似於廣告分析創業公司Metamarkets中的應用情境，如廣告分析、互連網廣告系統監控以及網路監控等。當業務中出現以下情況時，Druid是一個很好的技術方案選擇：

• 需要互動式彙總和快速探究大量資料時；
• 需要即時查詢分析時；
• 具有大量資料時，如每天數億事件的新增、每天數10T資料的增加；
• 對資料尤其是大資料進行即時分析時；
• 需要一個高可用、高容錯、高效能資料庫時。

一個Druid叢集有各種類型的節點（Node）組成，每個節點都可以很好的處理一些的事情，這些節點包括對非即時資料進行處理儲存和查詢的Historical節點、即時攝取資料、監聽輸入資料流的Realtime節、監控Historical節點的Coordinator節點、接收來自外部客戶端的查詢和將查詢轉寄到Realtime和Historical節點的Broker節點、負責索引服務的Indexer節點。

查詢操作中資料流和各個節點的關係如所示：

如是Druid叢集的管理層架構，該圖展示了相關節點和叢集管理所依賴的其他組件（如負責服務發現的ZooKeeper叢集）的關係：

Druid已基於Apache License 2.0協議開源，代碼託管在GitHub，其當前最新穩定版本是0.7.1.1。當前，Druid已有63個代碼貢獻者和將近2000個關注。Druid的主要貢獻者包括廣告分析創業公司Metamarkets、電影流媒體網站Netflix、Yahoo等公司。Druid官方還對Druid同Shark、Vertica、Cassandra、Hadoop、Spark、Elasticsearch等在容錯能力、靈活性、查詢效能等方便進行了對比說明。更多關於Druid的資訊，大家還可以參考官方提供的入門教程、白皮書 、設計文檔等。

摘自 http://www.infoq.com/cn/news/2015/04/druid-data/

Druid：一個用於大資料即時處理的開源分布式系統