Hadoop Ubuntu下的安裝
來源:互聯網
上載者:User
關鍵字
安裝
name
value
ssh
xml
這個是在自己筆記本上的實驗版本,在不熟悉的情況還是先考慮在自己的電腦上安裝一個試驗版本,然後再考慮安裝部署生產環境中的機器。 首先自己的電腦上需要安裝一個虛擬機器VMWare WorkStation, 安裝好了之後,再在此虛擬機器上安裝Ubutun作業系統,我這裡裝的是Ubutun 11.10, 可以通過lsb_release -a 命令查看, 如果沒有這個命令的話可以用下面的命令安裝一下sudo apt-get install lsb。
1.&HTTP://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 在此作業系統上新建一個帳號Hadoop.
tinyfun@Ubuntu:/home$ sudo addgroup hadoop
Adding group `hadoop’ (GID 1001) ...
Done.
然後增加hadoop使用者: sudo adduser -ingroup hadoop hadoop 之後通過sudo gedit /etc/sudoers命令在sudoers檔中添加 hadoop ALL=(ALL:ALL) ALL 給hadoop使用者root許可權。 機器預設的名字是ubuntu,如果需要修改的話,就用sudo gedit /etc/hostname.
2. 建立ssh無密碼登錄
首先sudo apt-get install ssh openssh-server服務, 之後創建ssh-key, 使用命令ssh-keygen -t rsa -P 「」
回車後會在~/.ssh/下生成兩個檔:id_rsa和id_rsa.pub這兩個檔,進入~/.ssh/目錄下,將id_rsa.pub追加到
authorized_keys授權檔中,開始是沒有authorized_keys檔的, 使用命令:cat id_ras.pub >> authorized_keys中
接著使用ssh localhost就可以成功登錄了。
3. 安裝hadoop
在hadoop帳戶根目錄創建一個資料夾hadoop,使用
wget HTTP://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.1.1/hadoop-1.1.1-bin.tar.gz 下載最新版本的hadoop, 現在是1.1.1的穩定版本。 解壓到當前資料夾 tar -xvf hadoop-1.1.1-bin.tar.gz 然後用命令mv
hadoop-1.1.1 hadoop, 然後開始配置hadoop, 有四個檔需要配置的,這裡採用的都是最簡單的配置,很多參數都是採用hadoop系統自己預設的,這四個檔是conf目錄下的, hadoop-env.sh core-site.xml hdfs-site.xml
mapred-site.xml.
1) 修改hadoop-env.sh
sudo gedit hadoop-env.sh, 將其中的一行修改為export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.24
也就是配置JAVA虛擬機器的運行目錄,這個目錄是你機器上安裝java的位置。
2)修改core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3) 修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4)修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value> </property>
</configuration>