HDFS的基本shell操作

標籤：

(1)Distributed File System

隨著資料量越來越多，在一個作業系統管轄的範圍存不下了，那麼就分配到更多的作業系統管理的磁碟中，但是不方便管理和維護，因此迫切需要一種系統來管理多台機器上的檔案，這就是分布式檔案管理系統 。它是一種允許檔案通過網路在多台主機上分享的檔案系統，可讓多機器上的多使用者分享檔案和儲存空間。

而它最主要的特性就是通透性。讓實際上是通過網路來訪問檔案的動作，由程式與使用者看來，就像是訪問本地的磁碟一般。即使系統中有某些節點離線，整體來說系統仍然可以持續運作而不會有資料損失

分布式檔案管理系統很多，hdfs只是其中一種。適用於一次寫入多次查詢的情況，不支援並發寫情況，小檔案不合適。

 

(2)HDFS的常用SHELL操作。

HDFS也是一種作業系統。它的SHELL操作類似於Linux。

①查看目錄

命令：hadoop fs -ls PATH

例如：hadoop fs -ls hdfs://myhadoop:9000/

這裡有一個問題，為什麼最後要加上hdfs://myhadoop:9000/，這裡表示HDFS的根目錄，我們可以查看一下/usr/local/hadoop/conf中的core-site.xml檔案，在這個設定檔中配置了HDFS的根目錄：

當然使用hadoop fs -ls /也可以查看，它會預設加上設定檔中的內容，hadoop fs -lsr遞迴顯示當前路徑的目錄結構.

②遞迴查看根目錄下所有檔案：

命令：hadoop fs -lsr hdfs://myhadoop:9000/

，根據空格區分，第二個顯示參數表示該檔案的副本數，這意味著一個檔案可能在HDFS中存在多個，這樣就實現了檔案的備份，其中為"-"的表示是目錄，所有不存在副本，預設副本數是3。這裡由於是偽分布系統，所以設定為了1。在/usr/local/hadoop/conf中的hdfs-site.xml檔案可以進行相應的配置：

③建立目錄

命令:hadoop fs -mkdir PATH

例如：hadoop fs -mkdir /d1

④上傳檔案

命令：hadoop fs -put 源檔案(Linux系統) 目標路徑(HDFS)

例如：上傳目前的目錄下的core-site.xml檔案到剛剛建立的/d1目錄中。

命令為：hadoop fs -put ./core-site.xml /d1

⑤下載檔案

命令：hadoop fs -get 源檔案(HDFS) 目標路徑(Linux系統)

例如：下載剛剛HDFS中/d1目錄下的core-site.xml檔案到Linux系統案頭。

命令為：hadoop fs -get /d1/core-site.xml /root/Desktop/

⑥查看檔案

命令：hadoop fs -text FILE

例如：查看d1下的core-site.xml檔案。

命令為：hadoop fs -text /d1/core-site.xml

⑦刪除檔案

命令：hadoop fs -rm FILE

例如：刪除/d1下的core-site.xml檔案

⑧遞迴刪除

命令：hadoop fs -rmr PATH

例如：遞迴刪除/d1下的所有內容

⑨查看命令的協助手冊

命令：hadoop fs -help COMMAND

例如：查看ls的協助手冊

 

FS Shell 
調用檔案系統(FS)Shell命令應使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路徑作為參數。URI格式是scheme://authority/path。對HDFS檔案系統，scheme是hdfs，對本地檔案系統，scheme是file。其中scheme和authority參數都是可選的，如果未加指定，就會使用配置中指定的預設scheme。一個HDFS檔案或目錄比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更簡單的/parent/child（假設你設定檔中的預設值是namenode:namenodeport）。大多數FS Shell命令的行為和對應的Unix Shell命令類似，不同之處會在下面介紹各命令使用詳情時指出。出錯資訊會輸出到stderr，其他資訊輸出到stdout。

cat 
使用方法：hadoop fs -cat URI [URI …] 將路徑指定檔案的內容輸出到stdout。
樣本：
• hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
• hadoop fs -cat file:///file3 /user/hadoop/file4
傳回值： 成功返回0，失敗返回-1。

chgrp 
使用方法：hadoop fs -chgrp [-R] GROUP URI [URI …] Change group association of files. With -R, make the change recursively through the directory structure. The user must be the owner of files, or else a super-user. Additional information is in the Permissions User Guide. –>
改變檔案所屬的組。使用-R將使改變在目錄結構下遞迴進行。命令的使用者必須是檔案的所有者或者超級使用者。更多的資訊請參見HDFS許可權使用者指南。

chmod 
使用方法：hadoop fs -chmod [-R] URI [URI …]
改變檔案的許可權。使用-R將使改變在目錄結構下遞迴進行。命令的使用者必須是檔案的所有者或者超級使用者。更多的資訊請參見HDFS許可權使用者指南。

chown 
使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
改變檔案的擁有者。使用-R將使改變在目錄結構下遞迴進行。命令的使用者必須是超級使用者。更多的資訊請參見HDFS許可權使用者指南。

copyFromLocal 
使用方法：hadoop fs -copyFromLocal URI
除了限定源路徑是一個本地檔案外，和put命令相似。

copyToLocal 
使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI
除了限定目標路徑是一個本地檔案外，和get命令類似。

cp 
使用方法：hadoop fs -cp URI [URI …]
將檔案從源路徑複製到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。 樣本：
• hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
• hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
傳回值： 成功返回0，失敗返回-1。

du
使用方法：hadoop fs -du URI [URI …] 顯示目錄中所有檔案的大小，或者當只指定一個檔案時，顯示此檔案的大小。 樣本： hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1 傳回值： 成功返回0，失敗返回-1。

dus 
使用方法：hadoop fs -dus 顯示檔案的大小。

expunge 
使用方法：hadoop fs -expunge
清空資源回收筒。請參考HDFS設計文檔以擷取更多關於資源回收筒特性的資訊。

get 
使用方法：hadoop fs -get [-ignorecrc] [-crc] 複製檔案到本地檔案系統。可用-ignorecrc選項複製CRC校正失敗的檔案。使用-crc選項複製檔案以及CRC資訊。 樣本：
• hadoop fs -get /user/hadoop/file localfile
• hadoop fs -get hdfs://host:port/user/hadoop/file localfile
傳回值： 成功返回0，失敗返回-1。

getmerge 
使用方法：hadoop fs -getmerge [addnl] 接受一個來源目錄和一個目標檔案作為輸入，並且將來源目錄中所有的檔案串連成本地目標檔案。addnl是可選的，用於指定在每個檔案結尾添加一個分行符號。

ls 
使用方法：hadoop fs -ls 如果是檔案，則按照如下格式返迴文件資訊： 檔案名稱 檔案大小 修改日期 修改時間 許可權 使用者ID 組ID 如果是目錄，則返回它直接子檔案的一個列表，就像在Unix中一樣。目錄返回列表的資訊如下： 目錄名 修改日期 修改時間 許可權 使用者ID 組ID 樣本： hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile 傳回值： 成功返回0，失敗返回-1。

lsr
使用方法：hadoop fs -lsr ls命令的遞迴版本。類似於Unix中的ls -R。

mkdir 
使用方法：hadoop fs -mkdir 接受路徑指定的uri作為參數，建立這些目錄。其行為類似於Unix的mkdir -p，它會建立路徑中的各級父目錄。 樣本：
• hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
• hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir
傳回值： 成功返回0，失敗返回-1。

movefromLocal
使用方法：dfs -moveFromLocal
輸出一個”not implemented“資訊。

mv 
使用方法：hadoop fs -mv URI [URI …] 將檔案從源路徑移動到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。不允許在不同的檔案系統間移動檔案。 樣本：
• hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
• hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
傳回值： 成功返回0，失敗返回-1。

put 
使用方法：hadoop fs -put … 從本地檔案系統中複製單個或多個源路徑到目標檔案系統。也支援從標準輸入中讀取輸入寫入目標檔案系統。
• hadoop fs -put localfile /user/hadoop/hadoopfile
• hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
• hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
• hadoop fs -put – hdfs://host:port/hadoop/hadoopfile 從標準輸入中讀取輸入。
傳回值： 成功返回0，失敗返回-1。

rm 
使用方法：hadoop fs -rm URI [URI …] 刪除指定的檔案。只刪除非空目錄和檔案。請參考rmr命令瞭解遞迴刪除。 樣本：
• hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir
傳回值： 成功返回0，失敗返回-1。

rmr
使用方法：hadoop fs -rmr URI [URI …] delete的遞迴版本。 樣本：
• hadoop fs -rmr /user/hadoop/dir
• hadoop fs -rmr hdfs://host:port/user/hadoop/dir
傳回值： 成功返回0，失敗返回-1。

setrep
使用方法：hadoop fs -setrep [-R] 改變一個檔案的副本係數。-R選項用於遞迴改變目錄下所有檔案的副本係數。 樣本：
• hadoop fs -setrep -w 3 -R /user/hadoop/dir1
傳回值： 成功返回0，失敗返回-1。

stat 
使用方法：hadoop fs -stat URI [URI …] 返回指定路徑的統計資訊。 樣本：
• hadoop fs -stat path
傳回值： 成功返回0，失敗返回-1。

tail 
使用方法：hadoop fs -tail [-f] URI 將檔案尾部1K位元組的內容輸出到stdout。支援-f選項，行為和Unix中一致。
樣本：
hadoop fs -tail pathname
傳回值： 成功返回0，失敗返回-1。

test 
使用方法：hadoop fs -test -[ezd] URI 選項： -e 檢查檔案是否存在。如果存在則返回0。 -z 檢查檔案是否是0位元組。如果是則返回0。 -d 如果路徑是個目錄，則返回1，否則返回0。 樣本：
• hadoop fs -test -e filename

text
使用方法：hadoop fs -text 將源檔案輸出為文字格式設定。允許的格式是zip和TextRecordInputStream。

touchz 
使用方法：hadoop fs -touchz URI [URI …] 建立一個0位元組的空檔案。 樣本：
• hadoop -touchz pathname
傳回值： 成功返回0，失敗返回-1。

 

(3)HDFS中所有shell操作的總結：

 

 

選項名稱	使用格式	含義
-ls	-ls <路徑>	查看指定路徑的目前的目錄結構
-lsr	-lsr <路徑>	遞迴查看指定路徑的目錄結構
-du	-du <路徑>	統計目錄下個檔案大小
-dus	-dus <路徑>	匯總統計目錄下檔案(夾)大小
-count	-count [-q] <路徑>	統計檔案(夾)數量
-mv	-mv <源路徑> <目的路徑>	移動
-cp	-cp <源路徑> <目的路徑>	複製
-rm	-rm [-skipTrash] <路徑>	刪除檔案/空白檔案夾
-rmr	-rmr [-skipTrash] <路徑>	遞迴刪除
-put	-put <多個linux上的檔案> <hdfs路徑>	上傳檔案
-copyFromLocal	-copyFromLocal <多個linux上的檔案> <hdfs路徑>	從本地複製
-moveFromLocal	-moveFromLocal <多個linux上的檔案> <hdfs路徑>	從本地移動
-getmerge	-getmerge <源路徑> <linux路徑>	合并到本地
-cat	-cat <hdfs路徑>	查看檔案內容
-text	-text <hdfs路徑>	查看檔案內容
-copyToLocal	-copyToLocal [-ignoreCrc] [-crc] [hdfs源路徑] [linux目的路徑]	從本地複製
-moveToLocal	-moveToLocal [-crc] <hdfs源路徑> <linux目的路徑>	從本地移動
-mkdir	-mkdir <hdfs路徑>	建立空白檔案夾
-setrep	-setrep [-R] [-w] <副本數> <路徑>	修改副本數量
-touchz	-touchz <檔案路徑>	建立空白檔案
-stat	-stat [format] <路徑>	顯示檔案統計資訊
-tail	-tail [-f] <檔案>	查看檔案尾部資訊
-chmod	-chmod [-R] <許可權模式> [路徑]	修改許可權
-chown	-chown [-R] [屬主][:[屬組]] 路徑	修改屬主
-chgrp	-chgrp [-R] 屬組名稱 路徑	修改屬組
-help	-help [命令選項]	協助

HDFS的基本shell操作