基於MySQL中繼資料的Hive的安裝和簡單測試

基於MySQL中繼資料的Hive的安裝和簡單測試

引言：　Hive是一種強大的資料倉儲查詢語言，類似SQL，本文將介紹如何搭建Hive的開發測試環境。

1. 什麼是Hive?

hive是基於Hadoop的一個資料倉儲工具，可以將結構化的資料檔案映射為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合資料倉儲的統計分析。

2.  按照Ｈive的準備條件

2.1  Hadoop叢集環境已經安裝完畢

　2.2 本文使用Ubuntu做為開發環境(14.04)

３. 安裝步驟

3.1 下載Ｈｉｖｅ包：apache-hive-0.13.1-bin.tar.gz

3.2 將其解壓到/opt目錄下

　　　tar xzvf apache-hive-0.13.1-bin.tar.gz

3.3 設定環境變數

export HIVE_HOME=/opt/apache-hive-0.13

export PATH=$PATH:$HIVE_HOME/bin

export CLASSPATH=$CLASSPATH:$HIVE_HOME/bin

3.4. 修改hive-env.xml，複製hive-env.xml.template.

# Set HADOOP_HOME to point to a specific hadoop install directory

HADOOP_HOME=/opt/hadoop-1.2.1

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/opt/apache-hive-0.13/conf

3.5 修改hive-site.xml,主要修改資料庫的串連資訊.

 <property>
  <name>hive.metastore.uris</name>
  <value>thrift://127.0.0.1:9083</value>
  <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://BladeStone-Laptop:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>123456</value>
  <description>password to use against metastore database</description>
</property>

基於Hadoop叢集的Hive安裝

Hive內表和外表的區別

Hadoop + Hive + Map +reduce 叢集安裝部署

Hive本地獨立模式安裝

Hive學習之WordCount單詞統計

3.6 安裝ｍｙｓｑｌ資料庫(Ubuntu系統)

sudo apt-get install mysql-server

3.7 建立mysql使用者hive

3.8 在mysql中建立hive資料庫

 

更多詳情見請繼續閱讀下一頁的精彩內容：

1 2 下一頁