Hadoop Shell命令官網翻譯

標籤：des   style   http   io   ar   os   使用   sp   for   

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html#Overview
FS Shell 調用檔案系統(FS)Shell命令應使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路徑作為參數。URI格式是 scheme://authority/path。對HDFS檔案系統，scheme是 hdfs，對本地檔案系統，scheme是 file。其中scheme和authority參數都是可選的，如果未加指定，就會使用配置中指定的預設scheme。一個HDFS檔案或目錄比如 /parent/child可以表示成 hdfs://namenode:namenodeport/parent/child，或者更簡單的 /parent/child（假設你設定檔中的預設值是 namenode:namenodeport）。大多數FS Shell命令的行為和對應的Unix Shell命令類似，不同之處會在下面介紹各命令使用詳情時指出。出錯資訊會輸出到 stderr，其他資訊輸出到 stdout。

• appendToFile
• • Usage: hdfs dfs -appendToFile <localsrc> ... <dst>
  • 將本地檔案系統的單個檔案或者多個檔案追加到目標檔案系統,支援stdin標準輸入

• • hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile
  • hdfs dfs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
  • hdfs dfs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile
  • hdfs dfs -appendToFile - hdfs://nn.example.com/hadoop/hadoopfile Reads the input from stdin.
  • Exit Code:
    Returns 0 on success and 1 on error.
• cat
• • 使用方法：hdfs dfs -cat URI [URI …]
  • 將路徑指定檔案的內容輸出到stdout。
  • 樣本：
  • • hdfs dfs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
    • hdfs dfs -cat file:///file3 /user/hadoop/file4
  • 傳回值：成功返回0，失敗返回-1。
• chgrp
• • 使用方法：hdfs dfs -chgrp [-R] GROUP URI [URI …]
  • 改變檔案所屬的組。使用-R將使改變在目錄結構下遞迴進行。命令的使用者必須是檔案的所有者或者超級使用者。更多的資訊請參見HDFS許可權使用者指南。
• chmod
• • 使用方法：hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]
  • 改變檔案的許可權。使用-R將使改變在目錄結構下遞迴進行。命令的使用者必須是檔案的所有者或者超級使用者。更多的資訊請參見HDFS許可權使用者指南。
• chown
• • 使用方法：hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
  • 改變檔案的擁有者。使用-R將使改變在目錄結構下遞迴進行。命令的使用者必須是超級使用者。更多的資訊請參見HDFS許可權使用者指南。
• copyFromLocal
• • Usage: hdfs dfs -copyFromLocal <localsrc> URI
  • 除了限定源路徑是一個本地檔案外，和put命令相似。
    
  • Options:     -f選項將覆蓋目標如果目標已經存在。
• copyToLocal
• • Usage: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
  • 除了限定目標路徑是一個本地檔案外，和get命令類似。
• count
• • Usage: hdfs dfs -count [-q] <paths>
  • 計算目錄的數量，與指定檔案模式匹配的路徑的檔案和位元組。
  • 使用-count輸出資料行是：DIR_COUNT, FILE_COUNT, CONTENT_SIZE FILE_NAME
  • 使用-count -q 輸出資料行是：QUOTA, REMAINING_QUATA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, FILE_COUNT, CONTENT_SIZE, FILE_NAME
  • Example:    
  • • hdfs dfs -count hdfs://nn1.example.com/file1 hdfs://nn2.example.com/file2    
    • hdfs dfs -count -q hdfs://nn1.example.com/file1
  • Exit Code:Returns 0 on success and -1 on error.
• cp
• • Usage: hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>
  • 將檔案從源路徑複製到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。
  • • Options:-f選項將覆蓋目標。
    • -p選項將儲存的檔案屬性[ TOPX ]（時間戳記，所有權，許可，ACL，xattr）。如果-p不是特定的，然後儲存時間戳記，所有權，許可。如果PA是指定的，然後保留許可權也因為ACL是一個允許超集合
  • Example:    
  • • hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2    
    • hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
  • Exit Code:Returns 0 on success and -1 on error.
• du
• • Usage: hdfs dfs -du [-s] [-h] URI [URI ...]
  • 顯示目錄中所有檔案的大小，或者當只指定一個檔案時，顯示此檔案的大小。
  • Options:
  • • -s選項將會在檔案的長度顯示總的概括，而不是單個檔案。
    • - H選項將格式在“人類可讀的“時尚大小檔案（如64.0M代替67108864）
  • Example:     hdfs dfs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://nn.example.com/user/hadoop/dir1
  • Exit Code: Returns 0 on success and -1 on error.
• dus
• • Usage: hdfs dfs -dus <args>
  • 顯示檔案長度的概要。這是HDFS的DFS –du –s 的一個備用狀態。
• expunge
• • Usage: hdfs dfs -expunge
  • 清空資源回收筒。請參考HDFS設計文檔以擷取更多關於資源回收筒特性的資訊。
• get
• • Usage: hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>
  • 複製檔案到本地檔案系統。可用-ignorecrc選項複製CRC校正失敗的檔案。使用-crc選項複製檔案以及CRC資訊。
  • Example:    
  • • hdfs dfs -get /user/hadoop/file localfile    
    • hdfs dfs -get hdfs://nn.example.com/user/hadoop/file localfile
  • Exit Code:Returns 0 on success and -1 on error.
• getfacl
• • Usage: hdfs dfs -getfacl [-R] <path>
  • 顯示存取控制清單（ACL）的檔案和目錄。如果一個目錄有一個預設的ACL，然後getfacl也顯示預設的ACL。
  • Options:    
  • • -R: List the ACLs of all files and directories  recursively.    
    • path: File or directory to list.
  • Examples:    
  • • hdfs dfs -getfacl /file    
    • hdfs dfs -getfacl -R /dir
  • Exit Code:Returns 0 on success and non-zero on error.
• getfattr
• • Usage: hdfs dfs -getfattr [-R] -n name | -d [-e en] <path>
  • 顯示一個檔案或者目錄的擴充屬性嗎和值
  • Options:  
  • •   -R: 遞迴列出    
    • -n 名稱：自指定的擴充屬性。    
    • -d 轉儲所有擴充屬性值與路徑    
    • -e 編碼：編碼值後，檢索。有效編碼是“文本”，“hex”，和“Base64”。編碼值為文本字串括在雙引號（“），編碼值為十六進位和Base64的首碼分別為0x和0s    
    • path: 檔案或者目錄.
  • Examples:  
  • • hdfs dfs -getfattr -d /file
    • hdfs dfs -getfattr -R -n user.myAttr /dir
  • Exit Code:Returns 0 on success and non-zero on error.
• getmerge
• • Usage: hdfs dfs -getmerge <src> <localdst> [addnl]
  • 接受一個來源目錄和一個目標檔案作為輸入，並且將來源目錄中所有的檔案串連成本地目標檔案。addnl是可選的，用於指定在每個檔案結尾添加一個分行符號。
• ls
• • Usage: hdfs dfs -ls <args>
  • 如果是檔案，則按照如下格式返迴文件資訊：
  • 檔案名稱 <副本數> 檔案大小 修改日期 修改時間 許可權 使用者ID 組ID
  • 如果是目錄，則返回它直接子檔案的一個列表，就像在Unix中一樣。
  • 目錄返回列表的資訊如下：
  • • 目錄名 <dir> 修改日期 修改時間 許可權 使用者ID 組ID
  • Exit Code:Returns 0 on success and -1 on error.
• lsr
• • 使用方法：hadoop fs -lsr <args>
  • ls命令的遞迴版本。類似於Unix中的ls -R。
• mkdir
• • Usage: hdfs dfs -mkdir [-p] <paths>
  • 接受路徑指定的uri作為參數，建立這些目錄。其行為類似於Unix的mkdir -p，它會建立路徑中的各級父目錄。
  • Options:-p選項的行為非常像UNIX mkdir -p，建立父目錄路徑。
• moveFromLocal
• • Usage: hdfs dfs -moveFromLocal <localsrc> <dst>
  • 跟put類似的命令，除了源localsrc是在它的複製之後被刪除掉。
• moveToLocal
• • Usage: hdfs dfs -moveToLocal [-crc] <src> <dst>
  • Displays a "Not implemented yet" message.
• mv
• • Usage: hdfs dfs -mv URI [URI ...] <dest>
  • 將檔案從源路徑移動到目標路徑。這個命令允許有多個源路徑，此時目標路徑必須是一個目錄。不允許在不同的檔案系統間移動檔案。
• put
• • Usage: hdfs dfs -put <localsrc> ... <dst>
  • 從本地檔案系統中複製單個或多個源路徑到目標檔案系統。也支援從標準輸入中讀取輸入寫入目標檔案系統。
• rm
• • Usage: hdfs dfs -rm [-skipTrash] URI [URI ...]
  • 刪除指定參數的檔案。只刪除非空的目錄和檔案。If the -skipTrash option is specified, the trash, if enabled, will be bypassed and the specified file(s) deleted immediately. This can be useful when it is necessary to delete files from an over-quota directory.參考指rmr遞迴刪除。
• rmr
• • Usage: hdfs dfs -rmr [-skipTrash] URI [URI ...]
  • 刪除的遞迴版本。If the -skipTrash option is specified, the trash, if enabled, will be bypassed and the specified file(s) deleted immediately. This can be useful when it is necessary to delete files from an over-quota directory.
• setfacl
• • Usage: hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]
  • 設定檔案和目錄的存取控制清單（ACL）。
  • Options:
  • • -b: Remove all but the base ACL entries. The entries for user, group and others are retained for compatibility with permission bits.
    • -k: Remove the default ACL.
    • -R: Apply operations to all files and directories recursively.
    • -m: Modify ACL. New entries are added to the ACL, and existing entries are retained.
    • -x: Remove specified ACL entries. Other ACL entries are retained.
    • --set: Fully replace the ACL, discarding all existing entries. The acl_spec must include entries for user, group, and others for compatibility with permission bits.
    • acl_spec: Comma separated list of ACL entries.
    • path: File or directory to modify.
  • Examples:
  • • hdfs dfs -setfacl -m user:hadoop:rw- /file
    • hdfs dfs -setfacl -x user:hadoop /file
    • hdfs dfs -setfacl -b /file
    • hdfs dfs -setfacl -k /dir
    • hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
    • hdfs dfs -setfacl -R -m user:hadoop:r-x /dir
    • hdfs dfs -setfacl -m default:user:hadoop:r-x /dir
• setfattr
• • Usage: hdfs dfs -setfattr -n name [-v value] | -x name <path>
  • 設定檔案或目錄的一個擴充屬性的名稱和值。
  • Options:
  • • -b: Remove all but the base ACL entries. The entries for user, group and others are retained for compatibility with permission bits.
    • -n name: The extended attribute name.
    • -v value: The extended attribute value. There are three different encoding methods for the value. If the argument is enclosed in double quotes, then the value is the string inside the quotes. If the argument is prefixed with 0x or 0X, then it is taken as a hexadecimal number. If the argument begins with 0s or 0S, then it is taken as a base64 encoding.
    • -x name: Remove the extended attribute.
    • path: The file or directory.
  • Examples:
  • • hdfs dfs -setfattr -n user.myAttr -v myValue /file
    • hdfs dfs -setfattr -n user.noValue /file
    • hdfs dfs -setfattr -x user.myAttr /file
• setrep
• • Usage: hdfs dfs -setrep [-R] [-w] <numReplicas> <path>
  • 改變檔案的複製因子。如果path 是一個目錄，那麼命令遞迴改變此分類樹路徑下的所有檔案的複製因子。
  • Options:
  • • The -w flag requests that the command wait for the replication to complete. This can potentially take a very long time.
    • The -R flag is accepted for backwards compatibility. It has no effect.
  • Example:hdfs dfs -setrep -w 3 /user/hadoop/dir1
• stat
• • Usage: hdfs dfs -stat URI [URI ...]
  • 返回指定路徑的統計資訊。
  • Example:hdfs dfs -stat path
• tail
• • Usage: hdfs dfs -tail [-f] URI
  • 將檔案尾部1K位元組的內容輸出到stdout。支援-f選項，行為和Unix中一致。
• test
• • Usage: hdfs dfs -test -[ezd] URI
  • 選項：
  • • -e 檢查檔案是否存在。如果存在則返回0。
    • -z 檢查檔案是否是0位元組。如果是則返回0。
    • -d 如果路徑是個目錄，則返回1，否則返回0。
• text
• • Usage: hdfs dfs -text <src>
  • 將源檔案輸出為文字格式設定。允許的格式是zip和TextRecordInputStream。
• touchz
• • Usage: hdfs dfs -touchz URI [URI ...]
  • 建立一個0位元組的空檔案。
  • Example:
  • • hadoop -touchz pathname

Hadoop Shell命令官網翻譯