Hive Metastore 代碼簡析

1.  hive metastore 內部結構

1.1 包結構

從package結構來看，主要的5個package，讓我們來看看這幾個package的內容

(1) metastorepackage是metastore 模組的入口，也是整個metastore模組的核心所在，裡麵包含了HiveMetaStore類作為整個模組的核心，接收來自hive的請求，返回需要的資訊。

(2) metastore.apipackage包含了調用和訪問metastore模組的介面以及介面參數和傳回值類型，metastore模組的使用者可以通過api對metastore模組進行訪問

(3)metastore.events 用於metastore模組內部的觀察者模式。因為metastore模組是支援notification通知機制和一些其他的後續處理的。通過觀察者模式，當metastore對元資訊進行一些操作以後，會同時產生一些event，這些event會被它們的listener捕獲，並作出一些相應的處理，如發出一些通知等。

(4)metastore.model 與資料持久化相關，metastore模組通過datanucleus庫將model持久化到資料庫，這裡的model與資料庫中的表是對應的。

(5)metastore.tools 是供背景元資訊資料管理員對元資訊進行查看和修改的工具。

 

1.2. 類結構

在上述的5個package，比較核心比較重要的是metastore package，讓我們來詳細看看其中的類結構。

(1) 首先看看client，HiveMetaStoreClient繼承自IMetaStoreClient介面，HiveMetaStoreClient可以通過本地和遠程兩種方式訪問和調用HIveMetaStore的Server。

(2) 核心部分是HiveMetaStore的內部類HMSHandler，它繼承自IHMSHandler介面，IHMSHandler又繼承自ThrifHiveMetastore.Iface介面，提供通過Thrift方式進行遠端調用。在HiveMetaStore. HMSHandler內實現了介面的所有metastore模組對外的方法。

(3) ObjectStore繼承自RowStore介面，是用於對資料進行持久化的部分，Object可以從資料庫中擷取資料並映射到model的對象中，或者將model中的對象存入資料庫。

(4)HiveAlterHandler 繼承自AlterHandler介面，從HMSHandler分離出來專門進行Alter一類操作。

(5)Warehouse 主要作用是對HDFS上的檔案進行操作。因為在修改元資訊的同時可能會涉及到HDFS上的一些檔案操作，如mkdir，delteDir等操作。

(6)MetaStorePreEventListener，MetaStoreEventListener，MetaStoreEndFunctionListener通過觀察者模式對產生的event進行相應的處理的觀察者。這三個類都是抽象類別，由其他一些具體的類來繼承和實現。

 

2. hive 與metastore互動

再來看看hive 是如何與metastore互動的，下面從兩個例子來看，一個例子是一個DDL的hql指令，另一個是ANALYZE的hql指令。

 

2.1 DDLql

(1) 在ql.Driver中對command進行compile，需要調用ql.parse.Semantic.Analyzer的analyze方法對command進行分析最佳化，ql.parse.Semantic.Analyzer此時會調用ql.metadata.Hive的getTable方法擷取表資訊，ql.metadata.Hive是ql模組中用於與metastore模組互動的類，它會通過HiveMetaStoreClient去訪問和調用metastore模組。

(2) compile的過程還會調用ql.parse.Semantic.Analyzer的getSchema方法擷取Schema的資訊，這個資訊會在上一步儲存在ql.parse.Semantic.Analyzer中。

(3) 接著在ql.Driver中會對command進行execute，execute的過程建立一個ql.exec.DDLTask來進行DDL指令的執行，在ql.exec.DDLTask中會調用ql.metadata.Hive中的一些DDL的方法去執行DDL處理。

這個例子是一個不包含map-reduce處理的例子，只對metastore中的元資訊進行修改，下面這個例子則包含了map-reduce的處理和metastore中元資訊的修改。

 

2.2 ANALYZEql

(1) 這裡的compile過程和上一個例子類似，不再贅述。

(2) 接著在ql.Driver中會對command進行execute，execute的過程建立一個ql.exec.MapRedTask來進行map-reduce的處理，在ql.exec.MapRedTask的execute過程中會建立一個map-reduce的job，通過命令列調用的方式向hadoop提交這個job，並接收map-reduce的處理結果，儲存在上下文環境中。

(3) 在map-reduce的job運行完以後，ql.Driver會再次建立一個ql.exec.Stats來處理分析統計資訊，ql.exec.Stats的execute過程會調用ql.metadata.Hive的updateTableColumnStatistics或者updataPartitionColumnStatistics方法(這裡會根據command的不同來選擇)去更新metastore中的統計資訊。

 

3. 對於metastore中資料庫容量和擴充性的預估

從大容量和擴充性來講占儲存空間的主要的Model或Table如下：

Database,Table, Partition 和 Role

我們從添加database，table，partition，role的方法入手計算需要消耗多少的儲存空間。

註：R(x) 表示x表一行的大小；N(x)表示系統中有多少的x的執行個體，即x表的行數； k表示一個較小的數

(1) 建立N(database)個database，向database和database_params表中添加資料，大概是

(R(database)+k*R(database_params))*N(database)

 

(2) 建立N(table)個table，每個table需要向table表和table_params表中添加資料為

R(table)+k*R(table_params)

同時需要添加TableColumnPrivilege,TableColumnStatistics, TablePrivilege, 每個table對應的大小為

N(column)*R(TableColumnPrivelege)+R(TableColumnStatistics)+R(TablePrivelege)

還需要添加StorageDescriptor，因為StorageDescriptor包含Column資訊，每個table對應的大小為

N(column)*R(FieldSchema)+R(SerDeInfo)

總體來說添加N(table)個table，需要添加的資料大小為：

[R(table)+k*R(table_params)+

N(column)*R(TableColumnPrivelege)+R(TableColumnStatistics)+R(TablePrivelege)+

N(column)*R(FieldSchema)+R(SerDeInfo)]

*N(table)

 

(3) 建立N(partion)個partion，每個partion需要向patition表和partition_params表以及table表中添加資料為

R(partition)+k*R(partition_params)+R(FileSchema)

同時需要添加PartitionColumnPrivilege, PartitionColumnStatistics,PartitionPrivilege, 每個partition對應的大小為

N(column)*R(PartitionColumnPrivelege)+R(PartitionColumnStatistics)+R(PartitionPrivelege)

總體來說添加N(partition)個partition，需要添加的資料大小為：

[R(partition)+k*R(partition_params)+N(partition)*R(FileSchema)+

N(column)*R(PartitionColumnPrivelege)+R(PartitionColumnStatistics)+R(PartitionPrivelege)]

*N(partition)

(4) 建立N(role)個role，需要添加的大小為：

N(role)*R(role)

 

總計資料庫隱藏檔大小為

(R(database)+k*R(database_params))*N(database)+

[R(table)+k*R(table_params)+

N(column)*R(TableColumnPrivelege)+R(TableColumnStatistics)+R(TablePrivelege)+

N(column)*R(FieldSchema)+R(SerDeInfo)]

*N(table)+

[R(partition)+k*R(partition_params)+R(FileSchema)+

N(column)*R(PartitionColumnPrivelege)+R(PartitionColumnStatistics)+R(PartitionPrivelege)]

*N(partition)+

N(role)*R(role)

 

將R(x) 精簡為R，則總計大小為：

k*R*N(database)+2*R*N(column)*N(table)+R*N(column)*N(partition)+R*N(role)

=[k*N(database)+N(role)+2*N(column)*N(table)+N(column)*N(partition)]*R