sqoop從hdfs匯出到mysql

標籤：blog   檔案   資料   ar   資料庫   sql   mysql   app   

create database logs;

use logs

create table weblogs_from_hdfs(
 md5 varchar(32),
 url varchar(64),
 request_date date,
 request_time time,
 ip varchar(15)
);

sqoop export -m 1 --connect jdbc:mysql://hadoop:3306/logs --username root --password root --table weblogs_from_hdfs --export-dir /data/weblogs/import --input-fields-terminated-by ‘\t‘
對於通過sqoop匯入的資料為NULL的在匯出到資料庫中時依然保持為NULL.即使在檔案中儲存為字串為‘null‘。
sqoop預設為insert 插入新的語句
--update-key ‘md5‘  則將建立更新語句，update ....where md5 = ‘.......‘
如果--update-key ‘md5‘ 設定的值沒有找到，可以設定--update-mode allowinsert 允許新增這行資料

每個mapper預設預設插入1000條記錄，然後提交事務，若mapper失敗，可能出現插入衝突或者插入重複資料，可以通過一個暫存資料表--staging-table temptableName,等一個事務完成再將資料複製到--table指定的表中，暫存資料表結構必須與最終表一致
 create table temp_table as select * from real_table where 1=0;
 暫存資料表必須為空白表，否側必須配置參數--clear-staging-table 在插入資料前清空暫存資料表