Hadoop 클러스터 환경 설정

1 Hadoop 클러스터 계획

1.1 A, B, C 3의 총 기계;

1.2 마스터, b slave1, Slave2;으로 c A

1.3 IP & http://www.aliyun.com/zixun/aggregation/37954.html "> nbsp; 한: 192.168.1.103; b:192.168.1.104; c:192.168.1.101;

1.4 os:centos6.2 (64 비트)

2 Hadoop 클러스터 설정 단계

2.1 Hadoop 사용자를 만들고 사용자 루트 권한 (마스터 컴퓨터에서 수행)에 게

#创建hadoop用户

Useradd 둡

#给用户hadoop添加密码

passwd 둡

#付给hadoop用户root权限

VI/ETC/PASSWD 사용자 ID, 그룹 0, Hadoop:x:0:0 등으로 Hadoop 사용자의 ID:: / 홈/hadoop: / 빈/bash (먼저 루트 스위치를, 다른 사용자는 파일 권한이 없는 추정)

2.2 Hadoop 사용자로 전환, Hadoop 사용자 홈 디렉토리를 입력 (마스터 컴퓨터)

#切换到hadoop用户

Su 둡

라는 메시지가 암호 입력 (암호 필요 하 둡을 일반 사용자에서 전환 하려는 경우, 루트에서 Hadoop 전환 암호를 입력 하지 않아도, 아니 같은 단계)

#进入hadoop的主目录

Cd/가정/둡

2.3 JDK 환경 (Hadoop은 JDK를 필요로 하는 Java 작성 도구)를 설치 (마스터 컴퓨터)

냠 설치 openjdk * (냠 소프트웨어, 소프트웨어를 제거, 업데이트 소프트웨어, 등 CentOS에 소프트웨어를 설치 하기 위한 도구입니다.)

2.4 설치 OpenSSH (Hadoop 노드 간 통신에 필요한 이며 SSH 기준으로 무료) (마스터 컴퓨터 수행)

#安装openssh

냠 설치 오픈 *

#生存ssh密钥

Ssh-keygen-t Rsa-p '

SSH 폴더 # 进入입니다.

Cd/root/.ssh

#将公钥加到认证的公钥文件中

고양이 Id_rsa.pub >> authorized_keys

2.5 Hadoop 설치 패키지를 다운로드 하 고 그것을 적절 하 게 구성 (마스터 컴퓨터)

#下载hadoop-1.0.4.tar.gz

#解压hadoop-1.0.4.tar.gz / 홈/둡.

#hadoop에서 Conf 폴더-1.0.4 폴더는 구성 해야 하는 파일 (자세한 주소 참조)

http://download.csdn.net/detail/lovemelovemycode/5634581

2.6 구성 호스트와 호스트 이름 (마스터)에

#下载这个文件

http://download.csdn.net/detail/lovemelovemycode/5634599

2.7 반복 단계 2.1, 2.2, 2.3 slave1 및 Slave2

2.8 (마스터)에 Slave1\slave2 마스터에 해당 하는 파일 복사

Scp-r. SSH hadoop@slave1:/root

Scp-r. SSH hadoop@slave2:/root

Scp-r/home/hadoop/hadoop-1.0.4 Hadoop@slave1:/home/hadoop

Scp-r/home/hadoop/hadoop-1.0.4 Hadoop@slave2:/home/hadoop

Scp-r/etc/호스트 hadoop@slave1:/etc

Scp는-r/등/호스트 이름 hadoop@slave2:/etc

2.9 닫는 마스터, Slave1, 및 slave2 방화벽

#暂时关闭防火墙

/etc/init.d/iptables 중지

#永久关闭防火墙

Chkconfig 수준 iptables에서

2.10 (마스터)에서 형식 Namenode\datanode

빈/hadoop Namenode 형식

빈/hadoop Datanode 형식

2.11 (마스터)에 Hadoop을 시작

hadoop 1.0.4로 #

빈/시작-all.sh

3 Hadoop 클러스터 구축 성공 확인 방법

3.1 유효성 검사 자바 JPS 명령을 통해

http://download.csdn.net/detail/lovemelovemycode/5634649

3.2 http://master:50070와 http://master:50030를 통해 확인