오픈 소스 클라우드 컴퓨팅 기술 시리즈 (4) (Cloudera 설치 구성 Hadoop 0.20 최신 버전 구성)

다음, 우리는 경험 Cloudera 0.20의 최신 버전을 계속.

wget Hadoop-0.20-conf-pseudo_0.20.0-1cloudera0.5.0 ~ lenny_all.deb

wget Hadoop-0.20_0.20.0-1cloudera0.5.0 ~ lenny_all.deb

데비안: ~ # Dpkg-i Hadoop-0.20-conf-pseudo_0.20.0-1cloudera0.5.0 ~ lenny_all.deb

Dpkg-i Hadoop-0.20_0.20.0-1cloudera0.5.0 ~ lenny_all.deb

그것은 간단입니다. 그래

설치를 어디서 해야할지 경우 사용할 수 있습니다.

데비안: ~ # dpkg-l hadoop 0.20

분명 설치 디렉터리 구조를 볼 수 있습니다.

시작:

데비안: ~ # cd/etc/init.d/hadoop-0.20-
Hadoop 0.20 datanode Hadoop 0.20 namenode Hadoop 0.20-tasktracker
Hadoop 0.20 jobtracker Hadoop 0.20-secondarynamenode
데비안: ~ # cd/etc/init.d/hadoop-0.20-

debian:~#/etc/init.d/hadoop-0.20-namenode 상태
Hadoop 0.20 namenode가 실행

시작

debian:~#/etc/init.d/hadoop-0.20-datanode 상태
Hadoop 0.20 datanode 실행

debian:~#/etc/init.d/hadoop-0.20-jobtracker 시작

debian:~#/etc/init.d/hadoop-0.20-jobtracker 상태
Hadoop 0.20 jobtracker 실행

debian:~#/etc/init.d/hadoop-0.20-tasktracker 시작

debian:~#/etc/init.d/hadoop-0.20-tasktracker 상태
Hadoop 0.20 tasktracker 실행

부팅 완료입니다.

다음 일반 예제 테스트를 수행할 수 있습니다.

테스트 가치가 무엇입니까

데비안: ~ # Sqoop-도움말
사용법: hadoop Sqoop.jar org.apache.hadoop.sqoop.Sqoop (옵션)

데이터베이스 연결 옵션:
-연결 (jdbc-uri) 지정 JDBC 연결 문자열
-드라이버 (클래스 이름) JDBC 드라이버를 수동으로 지정
-를 사용 하 여 클래스 이름 (사용자 이름) 설정된 인증 사용자 이름
- 비밀 번호 (암호) 설정된 인증 암호
-로컬                    사용 하 여 로컬 가져오기 빠른 경로 (MySQL만)

가져오기 제어 옵션:
-테이블 (tablename)를 표 읽기
-열 (열, 열, 열...) 내보낼 테이블
-열 순서-의해 테이블의 열 (열 이름)을 사용 주문 결과
-hadoop-홈 (dir) 재정의 $HADOOP _home
-테이블 대상
-창 고-dir (dir) HDFS 경로 sequencefile로 SequenceFiles에 데이터를 가져옵니다.
-텍스트로 일반 텍스트 (기본)
-모든 테이블 데이터를 가져옵니다. 모든 데이터베이스의 테이블에
가져오기 & nbsp; (무시--열과-순서-테이블)

코드 생성 옵션:
생성 된 코드에 대 한-outdir (dir) 출력 디렉터리
-bindir (dir) 컴파일된 개체에 대 한 출력 디렉터리
-생성 전용 정지 후 코드 생성; 가져오지 않음

추가 명령:
-데이터베이스에 출구 목록 테이블 목록 테이블
-목록 데이터베이스 목록 모든 사용할 수 있는 데이터베이스와 출구
-디버그-sql SQL 및 출구 (문) 실행 '문'

일반 Hadoop 명령줄 옵션:
일반 옵션 지원
응용 프로그램 구성 파일을 지정 하는-conf < 구성 파일 >
-D < 속성 값 = > 주어진 값 사용 속성
-fs < 로컬 | namenode:port >는 Namenode 지정
JT-< 로컬 | jobtracker:port > 지정 일 추적기
-< 파일의 쉼표로 구분 된 목록 > 파일 지정 지도 복사는 쉼표로 구분 된 파일 클러스터를 줄일
-libjars < 항아리의 쉼표로 구분 된 목록 > 지정 하는 쉼표로 구분 된 jar 파일을 클래스 경로에 포함.
-아카이브 < 기록 보관소의 쉼표로 구분 된 목록 > 쉼표로 구분 된 아카이브 계산 맥에 unarchived를 지정 하인즈입니다.

일반 명령 라인 구문이입니다.
빈/hadoop 명령을 [genericoptions] [commandoptions]

최소한 연결을 지정 해야 합니다--테이블 및-모든 테이블.
또는, 지정할 수 있습니다-생성 전용 또는 추가 중
명령입니다.

Apt-get은 설치 mysql 서버 설치 데비안 아래 MySQL의 공동 테스트를 수행할 수 있습니다.

이전 문서를 참조 하는 테스트 경험, 완전 한 경험을 가질 수 있습니다 여기. Cloudera의 출현은 정말 Hadoop 및 드라이브 오픈 소스 개발 클라우드 컴퓨팅의 구성을 단순화 합니다.