Flink BLOB架構

標籤：特性   use   mes   tor   方法   ade   info   分布式系統   過程   

Flink中支援的BLOB檔案類型

• jar包

    被user classloader使用的jar包

• 高負荷RPC訊息

    1. RPC訊息長度超出了akka.framesize的大小  2. 在HA摸式中，利用底層Distributed File System分發單個高負荷RPC訊息，比如: TaskDeploymentDescriptor,給多個接受對象。  3. 失敗導致重新部署過程中複用RPC訊息

• TaskManager的記錄檔

    為了在web ui上展示taskmanager的日誌

按儲存特性又分為兩類

• PERMANENT_BLOB

    生命週期和job的生命週期一致，並且是可恢複的。會上傳到BlobStoreDistributed File System中。

• TRANSIENT_BLOB

    生命週期由使用者自行管理，並且是不可恢複的。不會上傳到BlobStoreDistributed File System中。

架構圖

BlobStore

BLOB底層儲存，支援多種實現`HDFS`,`S3`,`FTP`等，HA中使用BlobStore進行檔案的恢複。

BlobServer

* 提供了基於jobId和BlobKey進行檔案上傳和下載的方法?* 本地檔案系統的讀寫，基於`<path>/<jobId>/<BlobKey>`目錄結構* HA Distributed File System的讀寫，基於`<path>/<jobId>/<BlobKey>`目錄結構* 負責本地檔案系統和Distributed File System的清理工作* 先儲存到本地檔案系統中，然後如果需要的話再儲存到Distributed File System中* 下載請求優先使用本地檔案系統中的檔案* 進行HA恢複中，下載分布式系統中的檔案到本地檔案系統中

BlobClient

* 基於jobId和BlobKey對BlobServer中的檔案進行本地檔案快取* 本地檔案的讀寫，基於`<path>/<jobId>/<BlobKey>`目錄結構* 優先使用本地檔案系統中的檔案，然後嘗試從HA分布式檔案中擷取，最後才嘗試從BlobServer中下載* 負責本地檔案系統的清理工作

LibraryCacheManager

橋接task的classloader和緩衝的庫檔案，其`registerJob`,`registerTask`會構建並緩衝job，task運行需要的classloader

樣本解析：standalone模式中的jar包管理

Flink BLOB架構