Hadoop 계획 및 Cloudera 설치 배포

Hadoop은는 오픈 소스 분산된 병렬 프로그래밍 프레임 워크 MapReduce 컴퓨팅 모델을 구현 하. MapReduce의 개념 Google 실험실, 병렬 컴퓨팅을 단순화 하는 프로그래밍 모델에서에서 오는 대규모 클러스터에 대량 데이터 처리에 적합 하 고 가장 성공적인 응용 프로그램은 분산된 검색 엔진. Java 오픈 소스 구현 프로젝트 2007 년 말에 Apache Hadoop의 도래와 함께 쉽게 프로그래머 분산된 병렬 프로그램을 작성 고 대규모 데이터의 계산을 완료 하려면 컴퓨터 클러스터에서 실행할 수 있습니다. 지난 2 년 동안, 특히 올해 MapReduce 모델의 응용 프로그램은 점차 농축이 모델을 사용 하 여 사용자 정보를 분석 하는 NTT KDDI와 차이나 모바일 통신 회사 네트워크 구성 최적화와 같은; 미국 전력 공급 국 사용이이 모델은 현재 상황을 분석 하 재고 데이터, 소매 업체 및 전자 상거래 기업,이 베이, 아마존 등을 분석 하는 모델을 사용 하는 등 비자와 JP 모건, 모델을 사용 하 여 시작 하는, DNA 시퀀싱 및 분석을 위한 모델을 사용 하는 일부 생물 회사. 그러나, Hadoop 설치, 배포 및 관리 하기 매우 어렵습니다 그리고 이것은 많은 사용자가 하 둡에 대 한 금지 되었습니다 하지만 곧 개선, Cloudera hadoop 설치, 배포 및 Hadoop을 관리 하 게 하는 매우 간단한 버전을 제공 합니다. 이것은 현재 Cloudera를 사용 하 여 새로운 Hadoop 사용자의 약 75%.

실행된 모드

Hadoop은 세 가지 동작 모드: 독립 실행형 (분산 된) 모드, 의사 분산된 동작 모드 및 분산된 동작 모드. 처음 두 작업 모드 Hadoop의 장점은 분산 컴퓨팅을 대표 하지 하 고 (그들은 테스트 및 디버깅 프로그램 유용 또한) 진짜 의미가 없다, 그래서 그들은 실제 환경에서 사용 되는 분산된 실행된 모드에서 배포 됩니다.

호스트 계획

여기 3 호스트 Hadoop 환경 뿐만 아니라 나중에 빌드를 테스트 하 고 추가 필요 고 삭제 호스트 및 횡단면 호스트 특별 한 Hadoop 환경에 미치는 영향을 다음과 같이 계획 Hadoop 호스트:

Hadoop-01 10.137.253.201

Hadoop-02 10.137.253.202

Hadoop-03 10.137.253.203 나중 테스트 호스트를 가입 준비가

Hadoop-04 10.137.253.204

Firehare-303 10.10.3.30 나중 네트워크 세그먼트 테스트 호스트를 가입 준비가