HDFS的shell操作

標籤：使用   檔案   資料   width   for   linux   

既然HDFS 是存取資料的Distributed File System，那麼對HDFS的操作，就是對檔案系統的基本操作，比如檔案的建立、修改、刪除、修改許可權等，檔案夾的建立、刪除、重新命名等。對

HDFS 的操作命令類似於Linux 的shell 對檔案的操作，只是在HDFS中，hadoop fs是主命令，其他像ls,mv,cp都是被作為該命令的選項。

以下表格列出一些常用的HDFS shell命令選項。

選項名稱	使用格式	含義
-ls	-ls <路徑>	查看指定路徑的目前的目錄結構
-lsr	-lsr <路徑>	遞迴查看指定路徑的目錄結構
-du	-du <路徑>	統計目錄下個檔案大小
-dus	-dus <路徑>	匯總統計目錄下檔案(夾)大小
-count	-count [-q] <路徑>	統計檔案(夾)數量
-mv	-mv <源路徑> <目的路徑>	移動
-cp	-cp <源路徑> <目的路徑>	複製
-rm	-rm [-skipTrash] <路徑>	刪除檔案/空白檔案夾
-rmr	-rmr [-skipTrash] <路徑>	-rmr [-skipTrash] <路徑>
-put	-put <多個linux 上的檔案> <hdfs 路徑>	上傳檔案
-copyFromLocal	-copyFromLocal <多個linux 上的檔案> <hdfs 路徑>	從本地複製
-moveFromLocal	-moveFromLocal <多個linux 上的檔案> <hdfs 路徑>	從本地移動
-getmerge	-getmerge <源路徑> <linux 路徑>	合并到本地
-cat	-cat <hdfs 路徑>	查看檔案內容
-text	-text <hdfs 路徑>	查看檔案內容
-copyToLocal	-copyToLocal [-ignoreCrc] [-crc] [hdfs 源路 徑] [linux 目的路徑]	從本地複製
-moveToLocal	-moveToLocal [-crc] <hdfs 源路徑> <linux 目的路徑>	從本地移動
-mkdir	-mkdir <hdfs 路徑>	建立空白檔案夾
-setrep	setrep [-R] [-w] <副本數> <路徑>	修改副本數量
-touchz	-touchz <檔案路徑>	建立空白檔案
-stat	-stat [format] <路徑>	顯示檔案統計資訊
-tail	-tail [-f] <檔案>	查看檔案尾部資訊
-chmod	-chmod [-R] <許可權模式> [路徑]	修改許可權
-chown	-chown [-R] [屬主][:[屬組]] 路徑	修改屬主
-chgrp	-chgrp [-R] 屬組名稱路徑	修改屬組
-help	-help [命令選項]	協助

注意：以上表格中對於路徑，包括hdfs 中的路徑和linux 中的路徑。對於容易產生歧義的地方，會特別指出“linux 路徑”或者“hdfs 路徑”。如果沒有明確指出，意味著是hdfs路徑