소스 클라우드 컴퓨팅 기술 시리즈 (7 세) Cloudera (Hadoop 0.20)

CentOS 5.3 운영 체제의 가상 세트입니다.

Jdk-6u16-리눅스-i586-rpm.bin 다운로드

[Root@hadoop ~] # chmod + x jdk-6u16-리눅스-i586-rpm.bin

[Root@hadoop ~]#./jdk-6u16-linux-i586-rpm.bin

[Root@hadoop ~] # 자바 버전
자바 버전 "1.6.0"
OpenJDK 런타임 환경 (빌드 1.6.0-b09)
OpenJDK 클라이언트 VM (빌드 1.6.0-b09, 혼합된 모드)

[Root@hadoop yum.repos.d]# wget Http://archive.cloudera.com/redhat/cdh/cloudera-testing.repo

[Root@hadoop yum.repos.d]# ls
Centos base.repo Centos base.repo.bak Centos media.repo Cloudera-testing.repo

[Root@hadoop ~]를 # 냠 설치 hadoop 0.20-y
로드 Plugins:fastestmirror
캐시 된 hostfile에서 로드 미러 속도
설치 프로세스 설정
패키지 설치 인수를 구문 분석
종속성 해결
-실행 트랜잭션을 확인
---> 패키지 hadoop 0.20.noarch 0:0.20.0 + 69-1 업데이트 설정
->는 종속성 해상도 완료

종속성 해결

=
패키지 아치 버전 저장소
크기 = = = = = =
설치:
hadoop 0.20 noarch 0.20.0+69-1 cloudera 테스트 M

트랜잭션 요약
= = = = = =
설치 1 패키지 (들)
업데이트 0 패키지 (들)
제거 0 패키지 (들)

총 다운로드 크기: 18 M
패키지를 다운로드:
hadoop-0.20-0.20.0+69-1.noarch.rpm | MB 01시 34분
Rpm_check_debug 실행
실행 중인 트랜잭션 테스트
완료 트랜잭션 테스트
트랜잭션 테스트 성공
실행 트랜잭션
설치: hadoop 0.20 [1/1]

설치: hadoop 0.20.noarch 0:0.20.0 + 69-1
완료!

Root@hadoop 컨퍼런스] # 냠 설치 hadoop 0.20-conf-의사-y
로드 Plugins:fastestmirror
캐시 된 hostfile에서 로드 미러 속도
설치 프로세스 설정
패키지 설치 인수를 구문 분석
종속성 해결
-실행 트랜잭션을 확인
---> 패키지 hadoop 0.20-conf pseudo.noarch 0:0.20.0 + 69-1 업데이트 설정
->는 종속성 해상도 완료

종속성 해결

=
패키지 아치 버전 저장소 크기
=

Hadoop 0.20-conf 의사 noarch 설치: 0.20.0+69-1 cloudera 테스트 k

트랜잭션 요약
= = = = = =
설치 1 패키지 (들)
업데이트 0 패키지 (들)
제거 0 패키지 (들)

총 다운로드 크기: 11 k
패키지를 다운로드:
hadoop-0.20-conf-pseudo-0.20.0+69-1.noarch.rpm | 1 KB 00시
Rpm_check_debug 실행
실행 중인 트랜잭션 테스트
완료 트랜잭션 테스트
트랜잭션 테스트 성공
실행 트랜잭션
설치: hadoop 0.20-conf 의사 [1/1]

설치: hadoop 0.20-conf pseudo.noarch 0:0.20.0 + 69-1
완료!

당신은 설치 후이 디렉토리에 그것을 볼 수 있습니다.

[Root@hadoop conf.pseudo]# rpm-ql Hadoop-0.20-conf-의사
/etc/hadoop-0.20/conf.pseudo
/etc/hadoop-0.20/conf.pseudo/readme
/etc/hadoop-0.20/conf.pseudo/capacity-scheduler.xml
/etc/hadoop-0.20/conf.pseudo/configuration.xsl
/etc/hadoop-0.20/conf.pseudo/core-site.xml
/etc/hadoop-0.20/conf.pseudo/fair-scheduler.xml
/etc/hadoop-0.20/conf.pseudo/hadoop-env.sh
/etc/hadoop-0.20/conf.pseudo/hadoop-metrics.properties
/etc/hadoop-0.20/conf.pseudo/hadoop-policy.xml
/etc/hadoop-0.20/conf.pseudo/hdfs-site.xml
/etc/hadoop-0.20/conf.pseudo/log4j.properties
/etc/hadoop-0.20/conf.pseudo/mapred-site.xml
/etc/hadoop-0.20/conf.pseudo/masters
/etc/hadoop-0.20/conf.pseudo/slaves
/etc/hadoop-0.20/conf.pseudo/ssl-client.xml.example
/etc/hadoop-0.20/conf.pseudo/ssl-server.xml.example
/var/lib/hadoop-0.20
/var/lib/hadoop-0.20/cache

[Root@hadoop conf.pseudo]# pwd
/etc/hadoop-0.20/conf.pseudo

[Root@hadoop conf.pseudo]# 더 많은 코어 site.xml
<? xml 버전 "1.0" =? >
<? xml 스타일 시트 유형 = "텍스트/xsl" href = "configuration.xsl"? >

< 구성 >
< 속성 >
< 이름 > fs.default.name < / 이름 >
hdfs://localhost:8020 < 값 > < / 값 >
< / 속성 >

< 속성 >
< 이름 > hadoop.tmp.dir < / 이름 >
< 값 > / var/lib/hadoop-0.20/cache/${user.name} < / 값 >
< / 속성 >
< / 구성 >

Hadoop을 시작 관련 서비스:

[Root@hadoop conf.pseudo]# in/etc/init.d/hadoop-0.20-*
서비스에 대 한

&gt;
를 할

&gt; sudo $service 시작


&gt;
완료

Hadoop Datanode 데몬 (hadoop datanode)을 시작: 시작 Datanode, 로깅 to/usr/lib/hadoop-0.20/bin/. /logs/hadoop-hadoop-datanode-hadoop.out


[확인]


Hadoop jobtracker 데몬 (hadoop-jobtracker)을 시작: 시작 Jobtracker, 로깅 to/usr/lib/hadoop-0.20/bin/. /logs/hadoop-hadoop-jobtracker-hadoop.out


[확인]


Hadoop namenode 데몬 (hadoop namenode)을 시작: 시작 Namenode, 로깅 to/usr/lib/hadoop-0.20/bin/. /logs/hadoop-hadoop-namenode-hadoop.out


[확인]


Hadoop Secondarynamenode 데몬 (hadoop-secondarynamenode)을 시작: 시작 Secondarynamenode, 로깅을 / usr/lib / hadoop-0.20/bin/입니다. /logs/hadoop-hadoop-secondarynamenode-hadoop.out


[확인]


Hadoop tasktracker 데몬 (hadoop-tasktracker)을 시작: 시작 Tasktracker, 로깅 to/usr/lib/hadoop-0.20/bin/ .. /logs/hadoop-hadoop-tasktracker-hadoop.out


[확인]

시동 성공을 확인 합니다.

Hadoop 3503 1 8 18시 33분? 00:00:03/usr/java/jdk1.6.0_16/bin/java-xmx1000m-dcom.sun.manage
Hadoop 3577 1 10 18:33? 00:00:04/usr/java/jdk1.6.0_16/bin/java-xmx1000m-dcom.sun.manage
Hadoop 3657 1 15 18:33? 00:00:05/usr/java/jdk1.6.0_16/bin/java-xmx1000m-dcom.sun.manage
Hadoop 3734 1 11 18:33? 00:00:04/usr/java/jdk1.6.0_16/bin/java-xmx1000m-dcom.sun.manage
Hadoop 3827 1 7 18시 33분? 00:00:02/usr/java/jdk1.6.0_16/bin/java-xmx1000m-dhadoop.log.di

몇 가지 예를 테스트:

Root@hadoop conf.pseudo]# hadoop 0.20 fs-mkdir
[root@hadoop conf.pseudo]# hadoop 0.20 fs-넣어/등/hadoop-0 .20/conf/*.xml 입력
[root@hadoop conf.pseudo]# hadoop 0.20 fs-ls 입력
발견 6 항목
-rw-r-r- 1 루트 supergroup 6275 2009-08-25 18:34/user/root/input/capacity-scheduler.xml
-rw-r에-연구-1 루트 supergroup 338 2009-08-25 18시 34분/사용자 / Root/input/core-site.xml
-rw-r에-연구-1 루트 supergroup 3032 2009-08-25 18:34/user/root/input/fair-scheduler.xml
-rw-r에-연구-1 루트 supergroup 4190 2009-08-25 18:34/user/root/input/hadoop-policy.xml
-rw-r에-연구-1 루트 supergroup 496 2009-08-25 18:34/user/root/input/hdfs-site.xml
- rw-r에-연구-1 루트 supergroup 213 2009-08-25 18:34/user/root/input/mapred-site.xml

[Root@hadoop conf.pseudo]# hadoop 0.20 jar/usr/lib/hadoop-0.20/hadoop-*-examples.jar grep 입력 출력 ' dfs [a-z.] +'


09/08/25 18시 34분: 59 정보 mapred. 과정: 6
에 Fileinputformat:total 입력된 경로

09/08/25 18시 35분: 00 정보 mapred. Jobclient:running 일: job_200908251833_0001


09/08/25 18시 35분: 01 정보 mapred. Jobclient:map 0% 0%
감소

09/08/25 18시 35분: 20 정보 mapred. Jobclient:map 33% 감소 0%


09/08/25 18시 35분: 33 정보 mapred. Jobclient:map 66% 감소 11%


09/08/25 18시 35분: 42 정보 mapred. Jobclient:map 66% 감소 22%


09/08/25 18시 35분: 45 정보 mapred. Jobclient:map 100% 감소 22%


09/08/25 18시 35분: 57 정보 mapred. Jobclient:map 100% 감소 100%


09/08/25 18시 35분: 59 정보 mapred. 완전 한 Jobclient:job: job_200908251833_0001


09/08/25 18시 35분: 59 정보 mapred. Jobclient:counters:18


09/08/25 18시 35분: 59 정보 mapred. Jobclient:job 카운터


09/08/25 18시 35분: 59 정보 mapred. jobclient: 감소 작업을 시작 1 =


09/08/25 18시 35분: 59 정보 mapred. jobclient: 지도 작업 시작 6 =


09/08/25 18시 35분: 59 정보 mapred. Jobclient:data-로컬 지도 작업 6 =


09/08/25 18시 35분: 59 정보 mapred. Jobclient:filesystemcounters


09/08/25 18시 35분: 59 정보 mapred. jobclient:file_bytes_read = 100


09/08/25 18시 35분: 59 정보 mapred. jobclient:hdfs_bytes_read 14544
=

09/08/25 18시 35분: 59 정보 mapred. jobclient:file_bytes_written = 422


09/08/25 18시 35분: 59 정보 mapred. jobclient:hdfs_bytes_written = 204


09/08/25 18시 35분: 59 정보 mapred. Jobclient:map-감소 프레임 워크


09/08/25 18시 35분: 59 정보 mapred. Jobclient: 입력된 그룹 감소 = 4


09/08/25 18시 35분: 59 정보 mapred. Jobclient:combine 출력 레코드 4 =


09/08/25 18시 35분: 59 정보 mapred. Jobclient:map 입력 레코드 = 364


09/08/25 18시 35분: 59 정보 mapred. Jobclient: 셔플 바이트를 줄이고 124 =


09/08/25 18시 35분: 59 정보 mapred. Jobclient: 출력 레코드 감소 = 4


09/08/25 18시 35분: 59 정보 mapred. jobclient: 레코드를 흘 렸 어 = 8


09/08/25 18시 35분: 59 정보 mapred. Jobclient:map 출력 바이트 = 86


09/08/25 18시 35분: 59 정보 mapred. Jobclient:map 바이트 입력 14544
=

09/08/25 18시 35분: 59 정보 mapred. Jobclient:combine 입력 레코드 4 =


09/08/25 18시 35분: 59 정보 mapred. Jobclient:map 출력 레코드 4 =


09/08/25 18시 35분: 59 정보 mapred. Jobclient: 입력된 레코드 감소 = 4


09/08/25 18시 35분: 59 경고 mapred. 인수를 구문 분석을 위한 Jobclient:use Genericoptionsparser입니다. 응용 프로그램은 같은 도구를 구현 해야 합니다.


09/08/25 18시 35분: 59 정보 mapred. 과정: 1
에 Fileinputformat:total 입력된 경로

09/08/25 18시 36분: 00 정보 mapred. Jobclient:running 일: job_200908251833_0002


09/08/25 18시 36분: 01 정보 mapred. Jobclient:map 0% 0%
감소

09/08/25 18시 36분: 12 정보 mapred. Jobclient:map 100% 감소 0%


09/08/25 18시 36분: 24 정보 mapred. Jobclient:map 100% 감소 100%


09/08/25 18시 36분: 26 정보 mapred. 완전 한 Jobclient:job: job_200908251833_0002


09/08/25 18시 36분: 26 정보 mapred. Jobclient:counters:18


09/08/25 18시 36분: 26 정보 mapred. Jobclient:job 카운터


09/08/25 18시 36분: 26 정보 mapred. jobclient: 감소 작업을 시작 1 =


09/08/25 18시 36분: 26 정보 mapred. jobclient: 지도 작업 시작 1 =


09/08/25 18시 36분: 26 정보 mapred. Jobclient:data-로컬 지도 작업 1 =


09/08/25 18시 36분: 26 정보 mapred. Jobclient:filesystemcounters


09/08/25 18시 36분: 26 정보 mapred. jobclient:file_bytes_read = 100


09/08/25 18시 36분: 26 정보 mapred. jobclient:hdfs_bytes_read = 204


09/08/25 18시 36분: 26 정보 mapred. jobclient:file_bytes_written = 232


09/08/25 18시 36분: 26 정보 mapred. jobclient:hdfs_bytes_written 62 =


09/08/25 18시 36분: 26 정보 mapred. Jobclient:map-감소 프레임 워크


09/08/25 18시 36분: 26 정보 mapred. Jobclient: 입력된 그룹 감소 = 1


09/08/25 18시 36분: 26 정보 mapred. Jobclient:combine 출력 레코드 = 0


09/08/25 18시 36분: 26 정보 mapred. Jobclient:map 입력 레코드 4 =


09/08/25 18시 36분: 26 정보 mapred. Jobclient: 셔플 바이트 감소 = 0


09/08/25 18시 36분: 26 정보 mapred. Jobclient: 출력 레코드 감소 = 4


09/08/25 18시 36분: 26 정보 mapred. jobclient: 레코드를 흘 렸 어 = 8


09/08/25 18시 36분: 26 정보 mapred. Jobclient:map 출력 바이트 = 86


09/08/25 18시 36분: 26 정보 mapred. Jobclient:map 바이트 입력 118 =


09/08/25 18시 36분: 26 정보 mapred. Jobclient:combine 입력 레코드 = 0


09/08/25 18시 36분: 26 정보 mapred. Jobclient:map 출력 레코드 4 =


09/08/25 18시 36분: 26 정보 mapred. Jobclient: 입력된 레코드 감소 = 4

[Root@hadoop conf.pseudo]# hadoop 0.20 Fs-ls
2 항목 발견
Drwxr xr x 루트 supergroup 0 2009-08-25 18시 34분/사용자/루트/입력
Drwxr xr x 루트 supergroup 0 2009-08-25 18시 36분/사용자/루트/출력

[Root@hadoop conf.pseudo]# hadoop 0.20 fs-ls 출력
2 항목 발견
Drwxr xr x 루트 supergroup 0 2009-08-25 18시 36분/사용자/루트/출력/_logs
-rw-r에-연구-1 루트 supergroup 2009-08-25 18시 36분/사용자/루트/출력/부품-00000

[Root@hadoop conf.pseudo]# hadoop 0.20 fs-고양이 출력/부품-00000 | 머리
1 Dfs.name.dir 1

1 dfs.permissions Dfs.replication
1 dfsadmin