Hadoop學習（一）

今天剛剛從hadoop網址下載了edition 0.21，上傳到公司內網 server上試了一把。

 

跟著官方網站走了一趟，在執行

Format a new distributed-filesystem:
$ bin/hadoop namenode -format

後執行

Start the hadoop daemons:
$ bin/start-all.sh

時報錯：

 

 

2011-03-01 14:08:25,278 INFO org.apache.hadoop.security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBa

sedUnixGroupsMapping; cacheTimeout=300000

2011-03-01 14:08:25,881 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.

        at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:214)

        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:237)

        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1440)

        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1393)

        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1407)

        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1552)

 

2011-03-01 14:08:25,885 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 

/************************************************************

SHUTDOWN_MSG: Shutting down DataNode at cloudface04/9.186.62.74

************************************************************/

 

這個問題原因是fs.defaultFS沒有配置。可以參照

 

conf/core-site.xml:

<configuration>     <property>         <name>fs.default.name</name>         <value>hdfs://localhost:9000</value>     </property></configuration>

conf/hdfs-site.xml:

<configuration>     <property>         <name>dfs.replication</name>         <value>1</value>     </property></configuration>

conf/mapred-site.xml:

<configuration>     <property>         <name>mapred.job.tracker</name>         <value>localhost:9001</value>     </property></configuration>

對hadoop進行基本配置。預設並沒有配置。

配置好後，重新執行：

$ bin/start-all.sh 啟動正常。

hadoop預設的NameNode 和 JobTracker 

• NameNode - http://localhost:50070/
• JobTracker - http://localhost:50030/