Kafka分布式：ZooKeeper擴充

標籤：

【ZooKeeper】

服務註冊、服務發現、用戶端負載平衡、Offset位移量分布式儲存。

 

kafka使用zookeeper來實現動態叢集擴充，不需要更改用戶端（producer和consumer）的配置。

broker會在zookeeper註冊並保持相關的中繼資料（topic，partition資訊等）更新。

Broker和Consumer都在ZooKeeper中註冊，ZooKeeper儲存它們的中繼資料。

而用戶端會在zookeeper上註冊相關的watcher。一旦zookeeper發生變化，用戶端能及時感知並作出相應調整。有Broker和Consumer發生變化時，其他Broker和Consumer都會得到通知。這樣就保證了添加或去除broker時，各broker間仍能自動實現負載平衡。

 

 

kafka是顯式分布式架構，producer、broker（Kafka）和consumer都可以有多個。Kafka的作用類似於緩衝，即活躍的資料和離線處理系統之間的緩衝。幾個基本概念：

（1）message（訊息）是通訊的基本單位，每個producer可以向一個topic（主題）發布一些訊息。如果consumer訂閱了這個主題，那麼新發布的訊息就會廣播給這些consumer。

（2）Kafka是顯式分布式的，多個producer、consumer和broker可以運行在一個大的叢集上，作為一個邏輯整體對外提供服務。對於consumer，多個consumer可以組成一個group，這個message只能傳輸給某個group中的某一個consumer.

Kafka分布式：ZooKeeper擴充