CentOS 7 Hadoop安裝配置

來源:互聯網
上載者:User

標籤:

前言:我使用了兩台電腦進行叢集的配置,如果是單機的話可能會出現部分問題。首先設定兩台電腦的主機名稱 root 許可權開啟/etc/host檔案

再設定hostname,root許可權開啟/etc/hostname檔案設定

從機設為Slaver.Hadoop

1.安裝java jdk 並配置環境

  centos 內建安裝了一個jdk,如果我們要自己安裝jdk並配置環境的話首先卸載掉原本的jdk

  在命令列模式下健入命令:yum remove java (root使用者,非root使用者請在命令前加sudo).

  接下來安裝jdk並配置環境,到網上下載jdk的rpm包,使用命令:rpm -ivh jdk-......;

  配置jdk環境:

  root使用者開啟/etc/profile檔案 在檔案末尾添加jdk路徑類似下面的配置,只需注意jdk版本即可

  

  上面一部分為java環境變數,後面為hadoop變數,等會用得上。

2.安裝hadoop並配置環境。 

  到Apache網站下載hadoop-2.6.0版本.

  解壓檔案: tar -xvf hadoop-2.6.0.tar.gz (解壓到需要安裝的路徑,或者到時候再設定路徑)

  進入解壓後的目錄,到hadoop-2.6.0/etc/hadoop/路徑下找到下面幾個設定檔

  

  core.site.xml:

  

  hdfs-site.xml

  

  mapred-site.xml.template

  

  hadoop-env.sh

  

  slaves

   192.168.1.126  從機ip

  到此配置完成,啟動參照網上的教程。

  /hadoop-2.6.0/bin/hadoop namenode -format

  /hadoop-2.6.0/sbin/start-all.sh

  完成。

  注意:啟動前需要將兩台電腦的防火牆關閉:sudo systemctl stop iptables.service

3.安裝配置hadoop eclipse 外掛程式

  下載hadoop eclipse 外掛程式,將其放入eclipse 檔案夾的plugins檔案夾中,啟動eclipse.

  eclipse window->open persperctive->other->

  

  分別開啟Map/Reduce 和 Resource 。然後到eclipse中建立M/R項目,找到wordcount.java原始碼執行,

  eclipse中run as configuertion 設定參數:

  

  eclipse中項目目錄:

  

  執行結果:

  

  

  

CentOS 7 Hadoop安裝配置

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.