hadoop+hive+fuse環境搭建

hadoop和hive的安裝方法我就不多了說了，不熟悉的同學可以參考一下下面的兩篇文章

HADOOP

http://yymmiinngg.iteye.com/blog/706699

 

HIVE

http://hi.baidu.com/7636553/blog/item/91f8f2eb4a19c8c7d439c95f.html

 

前面的只是簡單的一個配置，更細節的一些參數以及功能設定需要自己去查閱官方文檔

 

一般情況下，我們是看不到HDFS中的內容的，只能用過hadoop帶有的一些命令去查詢，有時可能比較麻煩。而fuse則提供了方便的途徑，可以讓我們像訪問本地目錄一樣訪問HDFS。

 

下面我說一下大致的步驟

1、HADOOP和HIVE安裝成功

2、fuse的安裝，並把相應的lib路徑添加到環境變數LD_LIBRARY_PATH中；此外該環境變數還需要添加另外兩個路徑，一個是關於java的，/usr/alibaba/java/jre/lib/amd64/server，另一個是hadoop解壓完成以後內建的一些lib，$HADOOP_HOME/c++/Linux-amd64-64/lib。這個環境變數很重要，如果沒有設定好的話，在後續的操作中會報一些庫檔案找不到，我在安裝的過程中就在這裡折騰了不少時間。

3、進入$HADOOP_HOME/fuse-dfs目錄下，執行命令./fuse_dfs_wrapper.sh dfs://hadoop5:9000 /home/gpadmin1/joe.wangh/hive/hive

兩個參數，第一個參數是hadoop設定檔中fs.default.name屬性的內容，第二個參數就是指明你要把HDFS掛在到哪個本地目錄下。

 

下面我們通過HIVE建立一張表，看看結果怎樣

[gpadmin1@hadoop5 hive-0.6.0]$ bin/hive
Hive history file=/tmp/gpadmin1/hive_job_log_gpadmin1_201106011136_744854986.txt
hive> CREATE TABLE u_tmp1 ( id1 INT,
    >   id2 int
    >   )
    > ROW FORMAT DELIMITED
    > FIELDS TERMINATED BY ',';
OK
Time taken: 11.985 seconds
hive>

 

[gpadmin1@hadoop5 hive]$ pwd
/home/gpadmin1/joe.wangh/hive/hive      --這個就是剛才我們掛載HDFS時用的目錄

 

看一下HDFS的根目錄下有哪些檔案夾
[gpadmin1@hadoop5 hive]$ ls              

hive  home  tmp  user
對比一下通過hadoop命令查看的情況，發現是一致的

[gpadmin1@hadoop5 hive]$ hadoop fs -ls /
Found 4 items
drwxr-xr-x   - gpadmin1 supergroup          0 2011-06-01 11:37 /hive
drwxr-xr-x   - gpadmin1 supergroup          0 2011-05-31 11:45 /home
drwxr-xr-x   - gpadmin1 supergroup          0 2011-05-30 16:20 /tmp
drwxr-xr-x   - gpadmin1 supergroup          0 2011-05-30 16:19 /user

 

由於通過HIVE的檔案儲存在HDFS根目錄下的hive目錄下，我們進去看看

[gpadmin1@hadoop5 hive]$ cd hive
[gpadmin1@hadoop5 hive]$ ls
u_tmp1  wh1

OK，剛剛建立的表u_tmp1是存在的