관리 하 고 적용 하는 방법 Biginsights 클러스터 기반 Cloudera의 시스템 통합

이 종이 먼저 간단히 소개 하는 biginsights 및 Cloudera 통합의 배경 다음 Cloudera에 따라 Biginsights 클러스터의 시스템 아키텍처를 소개 하 고 Cloudera에 통합 방법의 두 가지를 소개 한다. 마지막으로, 관리 및 통합된 시스템을 적용 하는 방법을 소개 합니다.

Cloudera와 IBM은 업계 최고의 대용량 데이터 플랫폼 소프트웨어 및 서비스 공급 업체, 2012 년 4 월에에서, 두 회사는이 분야에서는, 강한 제휴 파트너십의 설립을 발표 했다. Cloudera 완전 한 Hadoop 시스템을 제공 하 고이 기준 확장성, 안정성 및 플랫폼 성능 향상. Infosphere Biginsights, Hadoop 시스템에 따라 다양 한 대용량 데이터 분석 솔루션, 도구 및 소프트웨어를 개발 했다. Biginsights CDH 클러스터에 배포 함으로써 둘의 장점을 완벽 하 게 실현 될 수 있다 하 고 사용자에 대 한 최대 값은 달성.

CDH3에 따라 biginsights의 소개

요구 사항 배경

Cloudera Hadoop 소프트웨어 및 서비스를 제공 하는 회사, Cloudera 발표 CDH 패키지 Hadoop 등 관련된 오픈 소스 소프트웨어, Cloudera Hadoop 분산 컴퓨팅 및 확장성이 뛰어난 스토리지의 핵심 기능-및 조인 다른 엔터 프 라이즈-클래스 기능, 보안 및 고가용성 등. Cloudera 또한 Hadoop 클러스터 및 관리 클러스터 서비스 및 구성의 배포를 자동화 하기 위한 Cloudera 관리자 라는 소프트웨어를 게시 합니다.

Infosphere Biginsights는 IBM의 대용량 데이터 관리 및 분석 플랫폼 Hadoop 시스템에 따라. Biginsights IBM의 Hadoop 버전, 및이 기초에, 그것은 향상 작업 일정, MapReduce 컴퓨팅 프레임 워크, 그리고 분산된 파일 시스템에 있습니다. 동시에 Biginsights는 또한 다양을 한 소프트웨어 및 비주얼 데이터 쿼리를 포함 하 여, 텍스트 분석, 기술과 클러스터 제어를 제공 합니다. Biginsights CDH3, 비슷합니다 하지만 많은 차이가 있다. 아파치 Hadoop 시스템 및 클러스터 관리 소프트웨어와 비교해, Biginsights 많은 업계 최고의 데이터 분석 도구, 기존 오픈 소스 기술의 확장 및 엔터프라이즈 응용 프로그램에 대 한 더 많은 Cloudera 제공 합니다. 특정 비교는 다음 표에 표시 됩니다.

표 1입니다. CDH3 및 biginsights 함수 비교

기능 biginsights CDH3 클러스터 관리 파일 관리 모니터링은 이클립스 개발 환경 클러스터 인지 텍스트 분석 도구 Visual 데이터 분석 도구 도구 또는 하지

통합 여부는

일부 고객 환경에 그들은 배포 Cloudera Hadoop 시스템, HDFS에 데이터를 저장 했으며 일부 응용 프로그램 및 최상위 소프트웨어 배포. 이러한 시스템의 사용을 영향을 주지 않고 CDH 클러스터에 biginsights의 배포 biginsights CDH 클러스터에서 실행 될 수 있도록 수 발휘 biginsights의 장점 1 + 1을 달성 하기 위해 데이터 분석 > 2 효과. Biginsights CDH3U3 1.4 Enterprise Edition에서 지 원하는 시작 하 고 Biginsights 2.0 릴리스는 나중 Cdh3u4 및 Cdh3u5에 대 한 지원을 발표 했다. 현재, Cloudera CDH4, 발표 했다 하지만 릴리스는 아직 베타 버전, 때문에 그것의 안정성과 신뢰성에 맞지 않는 엔터 프 라이즈-클래스 응용 프로그램의 요구 사항 biginsights 그것의 지원을 증가 하지 그래서.

시스템 아키텍처

Infosphere biginsights 및 Cloudera CDH3 소프트웨어 및 도구, 코어 시스템 Hadoop 등 데이터 관리 및 Hadoop 기반 분석을 위한 소프트웨어의 많은 수를 포함 합니다. 다음 표에서 Biginsights와 CDH3 배포판에 포함 된 구성 요소를 보여 줍니다.

표 2입니다. Biginsights 및 CDH3 부품 목록

구성 요소 Biginsights 2.0 Cdh3u3 cdh3u4 cdh3u5 요약 MapReduce 1.0 0.20.2 0.20.2 0.20.2 mapduce 계산 프레임 워크 HDFS 1.0.3 0.20.2 0.20.2 0.20. 2 하 둡 분산 파일 시스템 HBase 1.0.3 0.90.4 0.90.6 0.90.6 분산 열 데이터베이스 동물원의 사육 담당자 3.4.3 3.3.4 3.3.5 3.3.5 분산 구성 정보 조정 서비스 Flume 0.9.4 0.9.4 0.9.4/1.1.0 0.9.4/1.2.0 분산 로그 수집 서비스 하이브 0.9.0 0.7.1 0.7.1 0.7.1 sql 기반 클래스 SQL 데이터 웨어하우스 Oozie 3.2.0 2.3.2 2.3.2 2.3.2 작업 워크플로 관리/조정 시스템 돼지 0.10.0 0.8.1 0.8.1 0.8.1 데이터 쿼리 언어 Hadoop Lucene 3.3.0에 따라 자바 전체-텍스트 검색 엔진 라이브러리 Bigsheets 2.0 웹 기반 시각화 데이터 쿼리/분석 도구 조정자 2.0 mapred 작업 워크플로 관리/조정 시스템 JAQL 2.0 & nbsp; 이클립스 2.0 공구 및 NB JAQL 쿼리를 처리 하기 위한 REST 서비스에 대 한 JSON JAQL 서버 2.0 기반 데이터 쿼리 언어를 분산 Sp; 이클립스 플러그인 개발 (포함 Mapred, 하이브, hbase, 돼지) 텍스트 분석 (SYSTEMT) 2.0 텍스트 분석 도구 Sqoop 1.4.1 1.3.0 1.3.0 1 .3.0 데이터 전송 도구 Mahout 0.5 0.5 0.5 기계 학습 도서관 Hadoop 기반 whirr 0.5.0 0.5.0 0.5.0 클러스터 서비스 관리

위의 테이블에서 볼 수 있듯이 두 제품에서 존재 하는 많은 소프트웨어 그리고 통합, Hadoop, hbase, 동물원의 사육 담당자 및 Flume CDH3에 것 대체 biginsights; 하이브, oozie, 돼지 같은 다른 오픈 소스 구성 요소에 대 한 해당 구성 요소 그리고, Biginsights 아직도 설치 IBM 버전, 그들은 충돌, 발생 하지 않습니다 및 IBM 관련 구성 요소는 설치 하 고 Webconsol 같은 CDH3 Hadoop 클러스터에서 실행 하기 때문에 이러한 구성 요소 CDH3 Hadoop에서 실행 됩니다 물론 E, eclipsetooling, systemt입니다. Biginsights 좋은 플랫폼 호환성 및 협력 CDH3, 사용자가 Biginsights 기능 및 데이터/서비스 마이그레이션 방지 기초 기능을 즐길 수 있도록 보장 합니다.

Biginsights 및 CDH3 통합 다음 지침을 따릅니다.
1. biginsights 및 CDH3 배포 상대적으로 독립적이 고 어떤 이전 CDH3 소프트웨어 및 서비스의 사용에는 영향을 미치지 않습니다.
2. biginsights CDH3 기존 구성을 수정 하지는 않습니다.
3. 모든 biginsights 작업 실행 CDH3 Hadoop 시스템에 제출 될 것 이다
4. 이외에 소수의 한 관리 기능을 사용할 수 없습니다, 다른 기능은 정상적으로 사용할 수 있습니다.
5. 지원 CDH3 패키지 수동 구성과 CDH3 통합 Cloudera 관리자에 의해
6. 오라클 Java 호환성을 보장

Biginsights CDH3 기존 클러스터를 배포할 때 소프트웨어 계층의 구조는 다음 그림에 표시 됩니다.

그림 1입니다. Biginsights 및 CDH3 부품 목록

위의 그림에서 볼 수 있듯이 Biginsights 통합 Hdfs, MapReduce, 동물원의 사육 담당자, 등 기존 CDH3 구성 요소를 그들은 다른 biginsights 구성 요소와 계약 Biginsights 소프트웨어 시스템으로 그들을 통합 에 동일한 플랫폼.