Hadoop + spark常用命令

標籤：伺服器   常用   yun   log   web管理   hadoop   檔案夾   mkdir   com   

Hadoop叢集常用的shell命令

Hadoop叢集常用的shell命令

查看Hadoop版本

hadoop -version

啟動HDFS

start-dfs.sh

啟動YARN

start-yarn.sh

查看4台伺服器的進程

jps

啟動HDFS和YARN的web管理介面

http://你的ip:50070/http://你的ip:8088/

在HDFS上建立一個檔案夾/test/input

hadoop fs -mkdir -p /test/input

查看建立的檔案夾

hadoop fs -ls /hadoop fs -ls /test

上傳到HDFS的/test/input檔案夾中

hadoop fs -put ~/words.txt /test/input查看是否上傳成功hadoop fs -ls /test/input

從HDFS鐘下載檔案，檔案下載到~/data檔案夾中

hadoop fs -get /test/input/words.txt ~/data

Hadoop + spark常用命令