Hadoop1.2.1安裝筆記4：Hadoop環境驗證

標籤：false

• 格式化節點，只需一次

[[email protected] conf]$ hadoop namenode -format Warning: $HADOOP_HOME is deprecated. 14/07/31 01:41:39 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = master.hadoop/10.15.5.200 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 1.2.1 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by ‘mattf‘ on Mon Jul 22 15:23:09 PDT 2013 STARTUP_MSG: java = 1.7.0_65 ************************************************************/ 14/07/31 01:41:39 INFO util.GSet: Computing capacity for map BlocksMap 14/07/31 01:41:39 INFO util.GSet: VM type = 64-bit 14/07/31 01:41:39 INFO util.GSet: 2.0% max memory = 1013645312 14/07/31 01:41:39 INFO util.GSet: capacity = 2^21 = 2097152 entries 14/07/31 01:41:39 INFO util.GSet: recommended=2097152, actual=2097152 14/07/31 01:41:39 INFO namenode.FSNamesystem: fsOwner=hadoop 14/07/31 01:41:39 INFO namenode.FSNamesystem: supergroup=supergroup 14/07/31 01:41:39 INFO namenode.FSNamesystem: isPermissionEnabled=true 14/07/31 01:41:39 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100 14/07/31 01:41:39 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s) 14/07/31 01:41:39 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0 14/07/31 01:41:39 INFO namenode.NameNode: Caching file names occuring more than 10 times 14/07/31 01:41:40 INFO common.Storage: Image file /usr/hadoop/hadoop-1.2.1/tmp/dfs/name/current/fsimage of size 112 bytes saved in 0 seconds. 14/07/31 01:41:40 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/usr/hadoop/hadoop-1.2.1/tmp/dfs/name/current/edits 14/07/31 01:41:40 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/usr/hadoop/hadoop-1.2.1/tmp/dfs/name/current/edits 14/07/31 01:41:40 INFO common.Storage: Storage directory /usr/hadoop/hadoop-1.2.1/tmp/dfs/name has been successfully formatted. 14/07/31 01:41:40 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at master.hadoop/10.15.5.200 ************************************************************/

• 關了所有牆

[[email protected] conf]$ sudo service iptables stop iptables: Setting chains to policy ACCEPT: filter [ OK ] iptables: Flushing firewall rules: [ OK ] iptables: Unloading modules: [ OK ]

• 開啟hadoop

[[email protected] conf]$ start-all.sh Warning: $HADOOP_HOME is deprecated. starting namenode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-namenode-master.hadoop.out 10.15.5.201: starting datanode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-slave01.hadoop.out 10.15.5.202: starting datanode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-slave02.hadoop.out 10.15.5.200: starting secondarynamenode, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-secondarynamenode-master.hadoop.out starting jobtracker, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-jobtracker-master.hadoop.out 10.15.5.202: starting tasktracker, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-slave02.hadoop.out 10.15.5.201: starting tasktracker, logging to /usr/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-slave01.hadoop.out

• 檢查與驗證結果

[[email protected] conf]$ jps 2965 JobTracker 2889 SecondaryNameNode 2723 NameNode 3155 Jps[[email protected] conf]$ jps 2735 Jps 2490 DataNode 2577 TaskTracker [[email protected] conf]$[[email protected] conf]$ jps 2975 TaskTracker 2880 DataNode 3125 Jps

查看分區資訊

[[email protected] conf]$ hadoop dfsadmin -report Warning: $HADOOP_HOME is deprecated. Configured Capacity: 10321133568 (9.61 GB) Present Capacity: 5132869632 (4.78 GB) DFS Remaining: 5132800000 (4.78 GB) DFS Used: 69632 (68 KB) DFS Used%: 0% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 2 (2 total, 0 dead) Name: 10.15.5.201:50010 Decommission Status : Normal Configured Capacity: 5160566784 (4.81 GB) DFS Used: 40960 (40 KB) Non DFS Used: 2594131968 (2.42 GB) DFS Remaining: 2566393856(2.39 GB) DFS Used%: 0% DFS Remaining%: 49.73% Last contact: Thu Jul 31 02:09:02 CST 2014 Name: 10.15.5.202:50010 Decommission Status : Normal Configured Capacity: 5160566784 (4.81 GB) DFS Used: 28672 (28 KB) Non DFS Used: 2594131968 (2.42 GB) DFS Remaining: 2566406144(2.39 GB) DFS Used%: 0% DFS Remaining%: 49.73% Last contact: Thu Jul 31 02:09:02 CST 2014

• http://10.15.5.200:50030

650) this.width=650;" title="clipboard" style="border-top:0px;border-right:0px;background-image:none;border-bottom:0px;padding-top:0px;padding-left:0px;border-left:0px;padding-right:0px;" border="0" alt="clipboard" src="http://img1.51cto.com/attachment/201408/12/8976580_1407806018FP23.png" height="109" />

• http://10.15.5.200:50070

650) this.width=650;" title="clipboard[4]" style="border-top:0px;border-right:0px;background-image:none;border-bottom:0px;padding-top:0px;padding-left:0px;border-left:0px;padding-right:0px;" border="0" alt="clipboard[4]" src="http://img1.51cto.com/attachment/201408/12/8976580_1407806019phC6.png" height="244" />

• C:\Windows\System32\drivers\etc 裡修改host 實現本機訪問hadoop檔案

650) this.width=650;" title="clipboard[6]" style="border-top:0px;border-right:0px;background-image:none;border-bottom:0px;padding-top:0px;padding-left:0px;border-left:0px;padding-right:0px;" border="0" alt="clipboard[6]" src="http://img1.51cto.com/attachment/201408/12/8976580_1407806019Idjt.png" height="90" />

650) this.width=650;" title="clipboard[8]" style="border-top:0px;border-right:0px;background-image:none;border-bottom:0px;padding-top:0px;padding-left:0px;border-left:0px;padding-right:0px;" border="0" alt="clipboard[8]" src="http://img1.51cto.com/attachment/201408/12/8976580_1407806019NMDM.png" height="129" />