Hive的安裝與配置

標籤：

1、因為我使用MySQL做為Hive的中繼資料庫，所以先安裝MySQL。

參考：http://www.cnblogs.com/hunttown/p/5452205.html

登入命令：mysql -h主機地址 -u使用者名稱 －p使用者密碼

mysql –u root    #初始登入沒有密碼

修改密碼

格式：mysqladmin -u使用者名稱 -p舊密碼 password 新密碼

mysql>mysqladmin -uroot –password 123456

註：因為開始時root沒有密碼，所以-p舊密碼一項就可以省略了。

建立用於hive的使用者hadoopuser

建立使用者命令：CREATE USER ‘username‘@‘host‘ IDENTIFIED BY ‘password‘;

mysql> CREATE USER ‘[email protected]’ IDENTIFIED BY ‘password‘;

授權命令：GRANT privileges ON databasename.tablename TO ‘username‘@‘host‘

mysql> GRANT ALL PRIVILEGES ON *.* TO ‘[email protected]’ WITH GRANT OPTION;

建立使用者和授權可以一起做：

mysql> GRANT ALL PRIVILEGES ON *.* TO [email protected] IDENTIFIED BY ‘123456’ WITH GRANT OPTION;

建立資料庫hive，用於hive資料存放區

mysql> create database hive

2、解壓hive到 /home/hadoopuser/

3、切換到root使用者，加入環境變數：

export HIVE_HOME=/home/hadoopuser/hiveexport PATH=$PATH:$HIVE_HOME/bin

4、使用root使用者，給hive/bin增加許可權

chmod 777 /hive/bin/*

5、設定檔

切換到  /hive/conf

cp hive-default.xml.template  hive-site.xmlcp hive-log4j.properties.template hive-log4j.properties

（1）配置hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration>  <property>    <name>javax.jdo.option.ConnectionURL</name>    <value>jdbc:mysql://192.168.254.156:3306/hive?createDatabaseIfNotExist=true</value>    <description>JDBC connect string for a JDBC metastore</description>  </property>  <property>    <name>javax.jdo.option.ConnectionDriverName</name>    <value>com.mysql.jdbc.Driver</value>    <description>Driver class name for a JDBC metastore</description>  </property>  <property>    <name>javax.jdo.option.ConnectionUserName</name>    <value>hadoop</value>    <description>username to use against metastore database</description>  </property>  <property>    <name>javax.jdo.option.ConnectionPassword</name>    <value>123456</value>    <description>password to use against metastore database</description>  </property>  <property>    <name>hive.metastore.warehouse.dir</name>    <value>/user/hive/warehouse</value>    <description>location of default database for the warehouse</description>  </property></configuration>

注1：倉庫目錄如果沒有要建立

hdfs dfs –mkdir /user/hivehdfs dfs –mkdir /user/hive/warehouse

注2：mysql的驅動jar包要上傳到hive/lib下

 

（2）配置hive-log4j.properties

#log4j.appender.EventCounter=org.apache.hadoop.metrics.jvm.EventCounterlog4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

6、在HDFS中建立/tmp和/user/hive/warehouse並設定許可權

hadoop fs -mkdir /tmphadoop fs -mkdir /user/hive/warehousehadoop fs -chmod g+w /tmphadoop fs -chmod g+w /user/hive/warehouse

註：hadoop 命令換成了hdfs命令，上面的命令如同下面的命令

hdfs fs -mkdir /tmphdfs fs -mkdir /user/hive/warehousehdfs fs -chmod g+w /tmphdfs fs -chmod g+w /user/hive/warehouse

7、手動上傳mysql的jdbc庫到hive/lib目錄。

http://mirror.bit.edu.cn/mysql/Downloads/Connector-J/

mysql-connector-java-5.1.22-bin.jar

8、啟動hive

hive --service metastore &        #啟動metastore服務hive --service hiveserver2 &      #啟動hiveserver服務hive shell                        #啟動hive用戶端

 

Hive 使用

1、建立資料庫

CREATE DATABASE myhive;

2、建立表

CREATE TABLE doc_hive (id int, username string, sex int, age int, email string, createtime string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘;

3、匯入資料

LOAD DATA LOCAL INPATH ‘/home/hadoopuser/doc/t-1.txt‘ OVERWRITE INTO TABLE doc_hive ;

驗證：select * from myhive.doc_hive;

Hive的具體使用，在接下來的部落格中會有體現。

——鄭重聲明：本文僅為作者個人筆記，請勿轉載！——

Hive的安裝與配置