hadoop 檔案系統shell命令

調用檔案系統(FS)Shell命令應使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路徑作為參數。 URI格式是scheme://authority/path。 對HDFS檔案系統，scheme是hdfs，對本地檔案系統，scheme是file。 其中scheme和authority參數都是可選的，如果未加指定，就會使用配置中指定的預設scheme。 一個HDFS檔或目錄比如/parent/child可以表示成hdfs://HTTP://www.aliyun.com/zixun/aggregation/11696.html">namenode: namenodeport/parent/child，或者更簡單的/parent/child（假設你設定檔中的預設值是namenode:namenodeport）。 大多數FS Shell命令的行為和對應的Unix Shell命令類似，不同之處會在下面介紹各命令使用詳情時指出。 出錯資訊會輸出到stderr，其他資訊輸出到stdout。

cat

使用方法：hadoop fs -cat URI [URI ...]

將路徑指定檔的內容輸出到stdout。

示例：

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2

hadoop fs -cat file:///file3 /user/hadoop/file4

傳回值：

成功返回0，失敗返回-1。

chgrp

使用方法：hadoop fs -chgrp [-R] GROUP URI [URI ...] Change group association of files. With -R, make the change recursively through the directory structure. The user must be the owner of files, or else a super-user. Additional information is in the Permissions User Guide. -->

改變檔所屬的組。 使用-R將使改變在目錄結構下遞迴進行。 命令的消費者必須是檔的擁有者或者超級使用者。 更多的資訊請參見HDFS許可權使用者指南。

chmod

使用方法：hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

改變檔的許可權。 使用-R將使改變在目錄結構下遞迴進行。 命令的消費者必須是檔的擁有者或者超級使用者。 更多的資訊請參見HDFS許可權使用者指南。

chown

使用方法：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

改變檔的擁有者。 使用-R將使改變在目錄結構下遞迴進行。 命令的消費者必須是超級使用者。 更多的資訊請參見HDFS許可權使用者指南。

copyFromLocal

使用方法：hadoop fs -copyFromLocal <localsrc> URI

除了限定源路徑是一個本地檔外，和put命令相似。

copyToLocal

使用方法：hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

除了限定目標路徑是一個本地檔外，和get命令類似。

cp

使用方法：hadoop fs -cp URI [URI ...] <dest>

將檔從源路徑複製到目標路徑。 這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。

示例：

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2

hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

傳回值：

成功返回0，失敗返回-1。

du

使用方法：hadoop fs -du URI [URI ...]

顯示目錄中所有檔的大小，或者當只指定一個檔時，顯示此檔的大小。

示例：

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1

傳回值：

成功返回0，失敗返回-1。

dus

使用方法：hadoop fs -dus <args>

顯示檔的大小。

expunge

使用方法：hadoop fs -expunge

清空回收站。 請參考HDFS設計文檔以獲取更多關於回收站特性的資訊。

get

使用方法：hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

複製檔到本地檔案系統。 可用-ignorecrc選項複製CRC校驗失敗的檔。 使用-crc選項複製檔以及CRC資訊。

示例：

hadoop fs -get /user/hadoop/file localfile

hadoop fs -get hdfs://host:port/user/hadoop/file localfile

傳回值：

成功返回0，失敗返回-1。

getmerge

使用方法：hadoop fs -getmerge <src> <localdst> [addnl]

接受一個原始目錄和一個目的檔案作為輸入，並且將原始目錄中所有的檔連接成本地目的檔案。 addnl是可選的，用於指定在每個檔結尾添加一個分行符號。

ls

使用方法：hadoop fs -ls <args>

如果是檔，則按照如下格式返回檔資訊：

檔案名 <副本數> 檔案大小 修改日期 修改時間 許可權 使用者ID 組ID

如果是目錄，則返回它直接子檔的一個清單，就像在Unix中一樣。 目錄返回清單的資訊如下：

目錄名 <dir> 修改日期 修改時間 許可權 使用者ID 組ID

示例：

hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile

傳回值：

成功返回0，失敗返回-1。

lsr

使用方法：hadoop fs -lsr <args>

ls命令的遞迴版本。 類似于Unix中的ls -R。

mkdir

使用方法：hadoop fs -mkdir <paths>

接受路徑指定的uri作為參數，創建這些目錄。 其行為類似于Unix的mkdir -p，它會創建路徑中的各級父目錄。

示例：

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2

hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

傳回值：

成功返回0，失敗返回-1。

movefromLocal

使用方法：dfs -moveFromLocal <src> <dst>

輸出一個」not implemented「資訊。

mv

使用方法：hadoop fs -mv URI [URI ...] <dest>

將檔從源路徑移動到目標路徑。 這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。 不允許在不同的檔案系統間移動檔。

示例：

hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2

hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

傳回值：

成功返回0，失敗返回-1。

put

使用方法：hadoop fs -put <localsrc> ... <dst>

從本地檔案系統中複製單個或多個源路徑到目的檔案系統。 也支援從標準輸入中讀取輸入寫入目的檔案系統。

hadoop fs -put localfile /user/hadoop/hadoopfile

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile

hadoop fs -put - hdfs://host:port/hadoop/hadoopfile

從標準輸入中讀取輸入。

傳回值：

成功返回0，失敗返回-1。

rm

使用方法：hadoop fs -rm URI [URI ...]

刪除指定的檔。 只刪除非空目錄和檔。 請參考rmr命令瞭解遞迴刪除。

示例：

hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

傳回值：

成功返回0，失敗返回-1。

rmr

使用方法：hadoop fs -rmr URI [URI ...]

delete的遞迴版本。

示例：

hadoop fs -rmr /user/hadoop/dir

hadoop fs -rmr hdfs://host:port/user/hadoop/dir

傳回值：

成功返回0，失敗返回-1。

setrep

使用方法：hadoop fs -setrep [-R] <path>

改變一個檔的副本係數。 -R選項用於遞迴改變目錄下所有檔的副本係數。

示例：

hadoop fs -setrep -w 3 -R /user/hadoop/dir1

傳回值：

成功返回0，失敗返回-1。

stat

使用方法：hadoop fs -stat URI [URI ...]

返回指定路徑的統計資訊。

示例：

hadoop fs -stat path

傳回值：

成功返回0，失敗返回-1。

tail

使用方法：hadoop fs -tail [-f] URI

將檔案結尾部1K位元組的內容輸出到stdout。 支援-f選項，行為和Unix中一致。

示例：

hadoop fs -tail pathname

傳回值：

成功返回0，失敗返回-1。

test

使用方法：hadoop fs -test -[ezd] URI

選項：

-e 檢查檔是否存在。 如果存在則返回0。

-z 檢查檔是否是0位元組。 如果是則返回0。

-d 如果路徑是個目錄，則返回1，否則返回0。

示例：hadoop fs -test -e filename

text

使用方法：hadoop fs -text <src>

將原始檔案輸出為文本格式。 允許的格式是zip和TextRecordInputStream。

touchz

使用方法：hadoop fs -touchz URI [URI ...]

創建一個0位元組的空檔。

示例：

hadoop -touchz pathname

傳回值：

成功返回0，失敗返回-1。