Jafka原始碼分析——隨筆

標籤：kafka   jafka   原始碼   訊息中介軟體   分布式   

Kafka是一個分布式的訊息中介軟體，可以粗略的將其劃分為三部分：Producer、Broker和Consumer。其中，Producer負責產生訊息並負責將訊息發送給Kafka；Broker可以簡單的理解為Kafka叢集中的每一台機器，其負責完成訊息佇列的主要功能（接收訊息、訊息的持久化儲存、為Consumer提供訊息、訊息清理.....)；Consumer從Broker擷取訊息並進行後續的操作。每個broker會有一個ID標識，該標識由人工在設定檔中配置。

Kafka中的訊息隸屬於topic，topic可以簡單的理解為分組。在topic內部，訊息會劃分為分區(partition)。對於partition可能難以理解，至少我讀程式的時候一直沒有弄明白partition的編號究竟是怎麼確定的，這裡多說一下。在broker的設定檔server.properties中有配置項num.partitions和topic.partition.count.map。 num.partitions是該broker每一個topic預設的partition數目(設為N)；topic.partition.count.map針對每一個topic設定partition數目(設為N)。Broker根據設定的數目在該機器為topic建立[0,1...N-1]N個partition。所以，partition的命名可以理解為由兩部分組成，brokerId和partitionNum，其中partitionNum是從0開始的數字。

Broker按照下面的原則組織該機器的訊息佇列。首先，為每一個topic的每一個partition建立一個目錄，命名格式為topic-partition。Broker對於topic-partition的訊息進行分段(segment)儲存，每一個segment的命名格式每個segment的位移量(offet)。目錄的組織圖具體如所示：

Kafka每一條Message的格式：

Length(4byte)

MagicValue(1byte)

Attribute(1byte)

CRC校正碼(4byte)

payload(訊息的內容)

其中magicvalue=1,Attribute表明訊息是否採用壓縮以及採用何種壓縮方式，crc為payload的crc校正碼。訊息在kafka的持久化隱藏檔中新增了一個域：訊息的長度，具體的格式如下所示：

其中，ByteBufferMessageSet和FileMessageSet都是採用上面的格式進行儲存的。

注意Kafka對訊息進行壓縮的過程。Kafka對訊息進行壓縮時是對一組Message進行壓縮的，其處理過程如下。首先將每一條Message序列化到一個byte數組，然後將壓縮後的byte數組再組成一條新的Message，其具體格式如下：

注意FileMessageSet中的offset是指該messageset在File中的起始位置，是檔案中的具體位置。