大資料開發學習之Hive的靜態分區與動態分區

分區是hive存放資料的一種方式。將列值作為目錄來存放資料，就是一個分區。這樣查詢時使用分區列進行過濾，只需根據列值直接掃描對應目錄下的資料，不掃描其他不關心的分區，快速定位，提高查詢效率。分動態和靜態分區兩種：

1. 靜態分區：若分區的值是確定的，那麼稱為靜態分區。新增分區或者是載入分區資料時，已經指定分區名。

create table if not exists day_part1(　　uid int,　　uname string　　)　　partitioned by(year int,month int)　　row format delimited fields terminated by '\t'; 　　##載入資料指定分區 　　load data local inpath '/root/Desktop/student.txt' into table day_part1 partition(year=2017,month=04); 　　##新增分區指定分區名 　　alter table day_part1 add partition(year=2017,month=1) partition(year=2016,month=12);

2. 動態分區：分區的值是非確定的，由輸入資料來確定

2.1 動態分區的相關屬性：

hive.exec.dynamic.partition=true :是否允許動態分區 　　hive.exec.dynamic.partition.mode=strict ：分區模式設定 　　strict：最少需要有一個是靜態分區 　　nostrict：可以全部是動態分區 　　hive.exec.max.dynamic.partitions=1000 ：允許動態分區的最大數量 　　hive.exec.max.dynamic.partitions.pernode =100 ：單個節點上的mapper/reducer允許建立的最大分區

2.2 動態分區的操作

##建立暫存資料表 　　create table if not exists tmp 　　(uid int, 　　commentid bigint, 　　recommentid bigint, 　　year int, 　　month int, 　　day int) 　　row format delimited fields terminated by '\t'; 　　##載入資料 　　load data local inpath '/root/Desktop/comm' into table tmp; 　　##建立動態分區表 　　create table if not exists dyp1 　　(uid int, 　　commentid bigint, 　　recommentid bigint) 　　partitioned by(year int,month int,day int) 　　row format delimited fields terminated by '\t'; 　　##strict 模式 　　insert into table dyp1 partition(year=2016,month,day) 　　select uid,commentid,recommentid,month,day from tmp; 　　##非strict 模式 　　##設定非strict 模式動態分區 　　set hive.exec.dynamic.partition.mode=nostrict; 　　##建立動態分區表 　　create table if not exists dyp2 　　(uid int, 　　commentid bigint, 　　recommentid bigint) 　　partitioned by(year int,month int,day int) 　　row format delimited fields terminated by '\t'; 　　##為非strict 模式動態分區載入資料 　　insert into table dyp2 partition(year,month,day) 　　select uid,commentid,recommentid,year,month,day from tmp;

3.分區注意細節

(1)、盡量不要用動態分區，因為動態分區的時候，將會為每一個分區分配reducer數量，當分區數量多的時候，reducer數量將會增加，對伺服器是一種災難。

(2)、動態分區和靜態分區的區別，靜態分區不管有沒有資料都將會建立該分區，動態分區是有結果集將建立，否則不建立。

(3)、hive動態分區的strict 模式和hive提供的hive.mapred.mode的strict 模式。

hive提供我們一個strict 模式：為了阻止使用者不小心提交惡意hql

hive.mapred.mode=nostrict : strict

如果該模式值為strict，將會阻止以下三種查詢：

(1)、對分區表查詢，where中過濾欄位不是分區欄位。

(2)、笛卡爾積join查詢，join查詢語句，不帶on條件或者where條件。

(3)、對order by查詢，有order by的查詢不帶limit語句。

184 次點擊