나는 바로 큰 데이터 나 Hadoop 플랫폼을 어떻게 선택 합니까?

올해, 큰 데이터 항목 많은 기업에서 되고있다. 표준 정의 "빅 데이터"를 설명 하는, Hadoop 대용량 데이터를 처리 하기 위한 사실상의 표준 되고있다. IBM, 오라클, SAP, 그리고 심지어 마이크로소프트를 포함 하 여 거의 모든 대형 소프트웨어 공급자는 Hadoop을 사용 합니다. 그러나, 대용량 데이터를 처리 하기 위해 Hadoop을 사용 하기로 했습니다, 첫 번째 문제는 시작 하는 방법과 어떤 제품을 선택. 다양 한 옵션 Hadoop의 버전을 설치 하 고 대용량 데이터 처리를 달성 해야 합니다. 이 문서는 다른 옵션에 설명 하 고 각 옵션 적용 하는 것이 좋습니다.


Hadoop 플랫폼
에 대 한 여러 옵션

다음 그림 다양 한 Hadoop 플랫폼에 대 한 옵션을 보여 줍니다. 만 아파치 릴리스 버전을 설치 하거나 또는 다른 공급자가 제공 하는 여러 배포판에서 하나를 선택, 큰 데이터 키트를 사용 하 여 결정 수 있습니다. 그것은 각 아파치 하 둡, 포함 그리고 거의 모든 대형 데이터 스위트 포함 또는 릴리스 버전을 사용 하 여 이해 하는 것이 중요.


아래 우리 각 옵션에서 좋은 모습을 Apache Hadoop 시작.


아파치 Hadoop

다음 모듈을 포함 하는
아파치 하 둡 프로젝트 (버전 2.0)의 현재 버전:


Hadoop 범용 모듈: 다른 둡 모듈을 지 원하는 일반적인 도구 집합.


Hadoop 분산 파일 시스템 (HDFS): 높은 처리량 데이터에 액세스할 응용 프로그램을 지 원하는 분산 파일 시스템.


Hadoop 원사: 작업 예약 및 클러스터 리소스 관리를 위한 프레임 워크.


Hadoop MapReduce: 큰 데이터 원사를 기반으로 하는 병렬 처리 시스템.

그것은 쉽게 하지 Apache Hadoop 독립적으로 시스템에 설치 하는 로컬
(그냥 압축 고 몇 가지 환경 변수를 설정 하 고 그들을 사용 하 여 시작). 하지만 이것은 단지 몇 가지 기본적인 튜토리얼 학습 하 고 시작 하기에 적합.


노드에서 하나 이상의 "진짜", Apache Hadoop을 설치 하려는 경우 훨씬 더 복잡 했다.


문제 1: 복잡 한 클러스터 설정


단일 노드에서 여러 개의 노드 설치 시뮬레이션 의사 분산된 모드를 사용할 수 있습니다. 여러 다른 서버에 단일 서버에서 설치를 시뮬레이션할 수 있습니다. 이 모드 에서도 구성 작업을 많이 수행 해야 합니다. 여러 노드의 클러스터를 설정 하려면 프로세스가 더 복잡 한 된다. 초보 관리자 인 경우 사용자 권한, 액세스 권한, 및에 투쟁 해야 합니다.


문제 2:hadoop 생태계 사용

아파치에
, 모든 프로젝트는 서로 독립적입니다. 이것은 좋은 지적! 하지만 Hadoop 생태계 포함 되어 Hadoop 외 많은 다른 아파치 프로젝트:


돼지: 높은 수준의 언어를 표현 하는 데이터 분석 프로그램 및 이러한 프로그램을 평가 하기 위한 인프라 구성 된 대형 데이터 집합을 분석 하기 위한 플랫폼.


하이브: 데이터 웨어하우스 시스템 쉽게 데이터 집계, 특정 쿼리 및 Hadoop 호환 파일 시스템에 저장 하는 대용량 데이터의 분석을 가능 하 게 SQL과 유사한 쿼리 언어를 제공 하는 Hadoop에 대 한.


Hbase: 무작위, 실시간 읽기/쓰기 액세스를 지 원하는 분산, 확장성, 큰 데이터 저장소.


Sqoop: Apache Hadoop 및 관계형 데이터베이스와 같은 구조화 된 데이터 저장소와 함께 사용 하기 위해 대량 데이터를 효율적으로 전송 되도록 설계 되었습니다.


Flume: 효율적으로 수집, 요약, 및 대량의 로그 데이터 이동에 대 한 분산, 안정적이 고 사용할 수 있는 서비스.


동물원의 사육 담당자: 구성 정보, 이름, 제공 하는 분산 동기화, 유지 하 고 패킷 서비스 제공에 대 한 중앙 집중식된 서비스.

거기
는 다른 프로젝트.

이 프로젝트를 설치 하 고 수동으로 Hadoop에 통합 해야 하는
.


다른 버전에 대 한 관심을 지불 하 고 릴리스 버전을 해야 합니다. 불행히도, 모든 버전 함께 완벽 하 게 작동합니다. 당신은 릴리스 노트를 비교 하 고 해결책을 찾을 해야 합니다. 하 둡 다른 버전, 분기, 기능, 및 등등의 수많은 제공합니다. 버전 1.0, 1.1 및 2.0 다른 프로젝트에서 알고 있는 번호와 달리 Hadoop의 버전은 훨씬 덜 간단 수 있습니다. 만약 당신이 배우고 싶다 "Hadoop 버전의"에 대 한 자세한 기사를 읽어 "코끼리의 가계도 (코끼리의 계보)".


질문 3: 비즈니스 지원


아파치 하 둡은 그냥 오픈 소스 프로젝트 이다. 물론, 많은 이득이 있다. 액세스 하 고 소스 코드를 변경할 수 있습니다. 사실, 몇몇 회사 사용 하 고 기본 코드 확장 있고 새로운 기능을 추가. 많은 토론, 기사, 블로그, 메일링 리스트 정보를 많이 제공 됩니다.

그러나
, 진짜 문제는 아파치 하 둡 같은 오픈 소스 프로젝트에 대 한 비즈니스 지원의 받을 하는 방법. 회사는 종종 단순히 오픈 소스 프로젝트 (뿐 아니라 Hadoop 프로젝트, 모든 오픈 소스 프로젝트 얼굴이이 문제)에 대 한 지원을 제공 하지 않고 그들의 제품을 지원 합니다.



Apache Hadoop을 사용 하는 경우

때문에 로컬 시스템에 독립 실행형 설치를 완료 하려면 약 10 분 소요, Apache Hadoop은 첫 번째 시도 이상적입니다. WordCount 예제 (이것은 Hadoop의 "Hello World" 예제)를 시도 하 고 MapReduce Java 코드의 일부를 탐색할 수 있습니다.


는 "진짜" Hadoop 릴리스를 사용 하지 않으려는 경우 (다음 섹션 참조), 다음 Apache Hadoop을 선택 하는 것 또한 사실이. 그러나, 나는 무료, 비상업용 버전도 있기 때문에 Hadoop의 릴리스 버전을 사용 하지 않을 이유가 있다.


그래서 진짜 hadoop 프로젝트, 나는 매우 Apache Hadoop을 대체 하 둡의 릴리스 버전을 사용 하 여 좋습니다. 다음 섹션에는이 선택의 장점을 보여주는 것입니다.


Hadoop 릴리스


Hadoop 주소 이전 섹션에서 언급 한 문제를 릴리스 합니다. 배포 공급자의 비즈니스 모델 자체 유통에 전적으로 의존합니다. 그들은 포장, 도구 및 비즈니스 지원을 제공합니다. 이 개발을 간소화 뿐만 아니라 또한 작업 간소화.


Hadoop 릴리스 팩 함께 Hadoop 생태계를 포함 하는 다른 프로젝트. 이렇게 하면 원활 하 게 모든 사용 가능한 버전 함께 작동. 자료는 정기적으로 게시 하 고 다른 프로젝트에 대 한 버전 업데이트를 포함.


배포 공급자는 또한 배포, 관리 및 Hadoop 클러스터를 모니터링을 위한 그래픽 도구를 제공 합니다. 이러한 방법으로, 복잡 한 클러스터를 설정, 관리, 고 보다 쉽게 모니터링. 많은 작업을 저장 합니다.


는 이전 섹션에서 설명 했 듯이, 그것은 공급자 Hadoop 방출의 그것의 자신의 버전에 대 한 지원 사업을 제공 하는 동안 일반적인 Apache Hadoop 프로젝트에 대 한 상업적인 지원의 받을 어렵다.


Hadoop 배포 공급자


현재, 아파치 하 둡, Hortonworks, Cloudera 및 모임의 트로이카 거의 병렬의 릴리스 버전에서 뿐만 아니라. 비록 Hadoop이이 기간 동안 발표의 다른 버전을 확인 하 고 있습니다. 예를 들어, EMC는 중추적인 HD, IBM의 Infosphere biginsights 회사. 와 아마존 탄성 MapReduce (EMR), 아마존도 그 구름에 관리 되는 미리 구성 된 솔루션을 제공합니다.


다른 많은 소프트웨어 공급자는 그들의 자신의 hadoop 배포판을 개발 하지 않습니다, 그들은 하나의 배포 공급자와 함께 작동. 마이크로소프트와 Hortonworks, 예를 들어 서로 협력, 특히 Windows 서버 운영 체제와 Windows Azure에 Apache Hadoop의 소개와 함께 클라우드 서비스. 또 다른 예는 자체 하드웨어를 결합 하 여 큰 데이터 응용 프로그램 제품을 제공 하는 오라클 Cloudera의 hadoop 소프트웨어 출시. SAP와 Talend 같은 소프트웨어 공급자는 동시에 여러 다른 배포판을 지원합니다.


오른쪽 Hadoop 버전을 어떻게 선택 합니까?


가이 기사 각 하 둡의 릴리스 버전을 평가 하지 않습니다. 그러나, 다음은 주요 유통 업체에 대 한 간략 한 소개입니다. 다른 배포판 사이 몇 뉘앙스는 일반적으로 하 고 공급자는 그들의 제품의 비밀으로 이러한 차이점을 참조 하십시오. 다음 목록에는 이러한 차이점에 설명 합니다:


Cloudera:는 대부분 형성 배포, 배포 경우 가장. 강력한 배포, 관리 및 모니터링 도구를 제공 합니다. Cloudera 개발 하 고 실시간으로 대용량 데이터를 처리할 수 있는 임 팔 라 프로젝트 기여.


Hortonworks:가 어떤 독점 (비-오픈-소스) 수정 되지 100% 오픈 소스 아파치 Hadoop의 유일한 공급자의 사용. Hortonworks 메타 데이터 아파치 Hcatalog의 서비스 기능을 사용 하 여 첫 번째 공급자입니다. 그리고, 그들의 스 팅 어는 개척 크게 하이브 프로젝트를 최적화. Hortonworks는 시작 하기 위한 매우 좋은, 쉬운--를 사용 하 여 샌드박스를 제공 합니다. Hortonworks 다양 한 향상 된 기능을 개발 하 고 아파치 Hadoop 로컬로 Windows 서버와 Windows Azure를 포함 하 여 이미지 Windows 플랫폼에서 실행 되도록 허용 핵심 중추에 그들을 제출.


모임의: 경쟁자, 보다 다른 개념의 수를 사용 하 여 더 나은 성능 및 사용의 용이성에 대 한 로컬 UNIX 파일 시스템 보다는 HDFS (오픈-소스 구성 요소를 사용 하 여)을 지원 하기 위해 특히. Hadoop 명령을 대신 로컬 UNIX 명령을 사용할 수 있습니다. 또한, 모임의 스냅샷, 거울, 또는 상태 저장 장애 복구 등의 고가용성 기능으로 다른 경쟁에서 구별 된다. 회사는 또한 아파치 드릴 프로젝트, 실시간 처리를 제공 하 둡 데이터에 SQL과 유사한 쿼리를 실행 하도록 설계 된 Google의 Dremel 오픈 소스 프로젝트에 대 한 새로운 프로젝트를 지도 했다.


아마존 탄력 있는 지도 감소 (EMR): 컴퓨트 클라우드 (아마존 EC2)와 Amzon 간단한 아마존 탄성에서 실행 되는 관리 되는 솔루션 다는 것은 어떤 다른 업체에서 그것을 구별합니다 네트워크 규모 인프라 Strorage 서비스 (Amzon S3)에 의하여 이루어져 있다. 아마존의 릴리스 버전을 뿐만 아니라 EMR에 반발할을 사용할 수 있습니다. 임시 클러스터 기본 사용 사례입니다. 일회성 또는 드문 대형 데이터 처리를 해야 하는 경우 EMR 돈 많이 저장할 수 있습니다. 그러나, 단점이 있다. 그것은 둡 생태계에서 돼지와 하이브 프로젝트를 포함 하 고 기본적으로 다른 많은 항목을 포함 하지 않습니다. 또한, EMR 매우 높은 대기 시간 및 계산 노드에 있는 데이터를 찾을 하지 않습니다 s 3에 데이터와 함께 작동 하도록 최적화 되어 있습니다. 그래서 파일 IO EMR에 Hadoop 클러스터 또는 개인 EC2 클러스터 보다 훨씬 느린 이며 훨씬 더 긴 대기 시간이 있다.


위의 배포판 수 사용 유연 하 게 또는 조합에서 다른 큰 데이터 스위트. 이 기간 동안 발생 하는 다른 배포판의 일부 특정 소프트웨어 스택 및/또는 하드웨어 스택을 바인딩할 충분히 유연 하지 않습니다. EMC의 중추적인 HD 기본, 예를 들어 실시간 SQL 쿼리 및 Hadoop, 위에 뛰어난 성능을 제공 하는 Greenplum 분석 데이터베이스를 혼합 또는 인텔의 아파치 릴리스 버전, 인텔의 아파치 Hadoop 릴리스 다른 Hadoop 회사 현재 일을 하지 않습니다 솔리드 스테이트 드라이브 최적화 되어 있습니다.


너무 귀하의 비즈니스에는 이미 특정 공급 스택 있는 경우 반드시 지원 어떤 Hadoop 버전 확인 하. 예를 들어 당신이 경우에 Greeplum 데이터베이스를 사용 하 여 중추적인 완벽 한 선택이 될 수 있습니다 및 다른 경우에서 보다 유연한 접근 하는 것 보다 적절 한 수 있습니다. 예를 들어 talend ESB, 이미 Talend 큰 데이터를 사용 하 여 큰 프로젝트를 시작 하려는 경우 Talend Hadoop 버전의 특정 공급자에 의존 하지 않으므로, Hadoop의 버전을 선택할 수 있습니다.

올바른 선택을 하
각의 개념을 이해 하 고 그것을 밖으로 시도. 제공 하는 도구를 확인 하 고 엔터프라이즈 버전 플러스 사업 지원의 총 비용을 분석 하십시오. 그 후, 릴리스 버전은 당신을 위해 바로 결정할 수 있습니다.


Hadoop 릴리스를 사용 하는 경우?


릴리스는 포장, 공구 설비, 및 지원의 이점이 있다, 때문에 대부분의 사용 시나리오에서 Hadoop의 릴리스 버전을 사용 해야. 그것은 드문 공통 (원래 계획, 일반) Apache Hadoop 놓고이 기준 자체 배포 빌드를 사용 하 여. 당신은 당신의 자신의 패키지를 테스트 당신의 자신의 도구를 구축 하 고 자신의 패치를 작성 해야 합니다. 다른 발생 합니다 동일한 문제가 발생 했습니다. 그래서 하지 Hadoop 릴리스를 사용 하는 좋은 이유를가지고 있는지 확인.

그러나
, 심지어는 Hadoop 릴리스 노력을 많이 필요 합니다. 아직도 많은 MapReduce 작업에 대 한 코드를 작성 하 고 Hadoop에 귀하의 모든 다른 데이터 소스를 통합 해야 합니다. 그리고 그 큰 데이터 스위트의 포인트.


큰 데이터 키트

아파치 Hadoop 위에 큰 데이터 스위트를 사용할 수 있습니다
를 출시 하였습니다. 큰 데이터 스위트는 일반적으로 Hadoop 버전의 여러 버전을 지원합니다. 그러나, 일부 공급자는 그들의 자신의 Hadoop 솔루션을 구현 했습니다. 어느 쪽이 든, 큰 데이터 스위트 몇 가지 추가 기능을 추가 대용량 데이터를 처리 하기 위해 릴리스:


도구: 일반적으로 큰 데이터 스위트 이클립스 같은 Ide에 만들어집니다. 추가 플러그 인 큰 데이터 응용 프로그램의 개발을 촉진 한다. 만들고 고 구축, 친숙 한 개발 환경에서 대용량 데이터 서비스를 배포할 수 있습니다.


모델링: Hadoop 클러스터에 대 한 인프라를 제공 하는 Apache Hadoop 또는 Hadoop 자료. 그러나, 당신은 아직도 많은 MapReduce 프로그램을 구축 복잡 한 코드를 작성 해야 합니다. 정상적인 자바를 사용 하 여이 코드를 작성 또는 당신은 또한 Piglatin 또는 하이브 쿼리 언어 (HQL) 등 언어 최적화 수, MapReduce 코드 생성. 큰 데이터 스위트 대용량 데이터 서비스를 모델링 하기 위한 그래픽 도구를 제공 합니다. 모든 필요한 코드가 자동으로 생성 됩니다. 당신은 사용 하 여 구성 작업 (즉, 특정 매개 변수 정의 하기). 이렇게 하면 더 쉽고 효율적 대용량 데이터 작업을 구현 하.


코드 생성: 모든 코드 생성. 작성, 디버그, 분석 및 최적화 mapreduce 코드 필요가 없습니다.


예약: 예약 하 고 큰 데이터 작업의 실행을 모니터링 해야 합니다. Cron 작업 또는 일정에 대 한 다른 코드를 작성할 필요가 없습니다. 쉽게 정의 하 고 실행 계획 관리 큰 데이터 키트를 사용할 수 있습니다.


통합: Hadoop 기술 및 제품의 모든 다른 클래스에서 데이터를 통합 하는 데 필요한. 파일 및 SQL 데이터베이스, 당신은 또한 NoSQL 데이터베이스, 메시지 미들웨어, 메시지 또는 세일즈 또는 SAP 같은 비즈니스-로-비즈니스 제품에서 데이터 페이 스 북, 트위터 등 소셜 미디어 통합. 큰 데이터 스위트 많은 커넥터 다른 인터페이스에서 Hadoop 및 백 엔드를 제공 하 여 통합에 대 한 도움을 많이 제공 합니다. 그냥 그래픽 도구를 사용 하면 통합 하 고이 데이터의 모든 지도 수동으로 연결 코드를 작성할 필요가 없습니다. 통합 기능 일반적으로 또한 가져온된 데이터의 품질을 향상 시키기 위해 정화 하는 데이터와 데이터 품질 특성이 있다.


큰 데이터 키트 공급자


큰 데이터 키트의 수는 성장 하 고 있습니다. 여러 오픈 소스와 독점 공급자 사이 선택할 수 있습니다. IBM, 오라클, 마이크로소프트 등 대부분의 대형 소프트웨어 공급자, 그들의 소프트웨어 포트폴리오에 한 클래스 큰 데이터 집합을 통합합니다. 이러한 공급 업체의 대부분도 Hadoop 버전의 단 하나 버전 지원 그들의 자신의 또는 Hadoop 릴리스 공급자와 그들의 파트너.


다른 한편으로, 또한 데이터 처리 공급자 중에서 선택할 수 있습니다. 데이터 통합, 데이터 품질, 엔터프라이즈 서비스 버스, 비즈니스 프로세스 관리 및 통합 구성 요소 추가에 사용할 수 있는 제품을 제공 합니다. 두 컴퓨터 같은 독점 공급자와 Talend 또는 Pentaho와 같은 오픈 소스 공급자가 있다. 일부 공급자 지원 뿐 아니라 한 Hadoop 릴리스 하지만 동시에 많은의 버전. 예를 들어이 문서 작성의 순간에, Talend와 아파치 하 둡, Cloudera, Hortonworks, 모임의 아마존 탄력 있는 될 수 있습니다. MapReduce 또는 릴리스, EMC의 중추적인 HD를 사용 하 여 사용자 지정 된 버전.


오른쪽 큰 데이터 스위트를 선택 하는 방법?


가이 문서 개별 대형 데이터 키트를 평가 하지 않습니다. 큰 데이터 패키지를 선택할 때 여러 가지 측면을 고려 하십시오. 다음 큰 데이터 문제에 대 한 올바른 선택을 하는데 도움이 될 것:


단순성: 큰 데이터 키트를 직접 보십시오. 이것은 의미 한다: 그것을 설치, Hadoop 설치에 연결, (파일, 데이터베이스, 비즈니스-비즈니스, 및 등) 다른 인터페이스를 통합 하 고 마지막으로 모델, 배포 및 일부 대용량 데이터 작업을 실행. 찾아 밖으로 자신을 위해 그것이 얼마나 쉽게 큰 데이터 스위트-그것을 사용 하 여의 하 게 어떻게 작동 하는지 보여 공급자의 관리자. 개념 유효성 검사를 직접 할.


폭: 큰 데이터 스위트 널리 오픈을 지원 하는지 여부 소스 표준-아니 그냥 hadoop 및 그것의 생태계, 하지만 soap 데이터 통합 및 웹 서비스, 휴식과 등등. 그것은 오픈 소스와 쉽게 변경 하거나 수 특정 문제에 따라 확장? 문서, 포럼, 블로그, 및 교류 큰 커뮤니티는?


기능: 필요한 모든 기능을 지원 합니까? (만약 당신이 이미 하나를 사용 했습니다) 하 둡의 릴리스 버전? Hadoop 에코 시스템의 모든 부분을 사용 하 시겠습니까? 모든 인터페이스, 기술 및 제품을 통합 하려는 당신은? 참고 너무 많은 기능 복잡성과 비용에 크게 증가할 수 있습니다. 그래서 당신이 정말로 아주 헤비 급 솔루션을 필요 확인 합니다. 당신은 정말 그것의 특징의 모두 필요 합니까?


트랩: 특정 트랩을 참고 하시기 바랍니다. 일부 큰 데이터 패키지 사용 하 여 데이터 기반 결제 (이 하 "데이터 세금"), 즉, 당신은 당신이 처리 각 데이터 라인에 대 한 지불. 우리는 빅 데이터에 대 한 얘기를 하기 때문에 그것은 매우 비쌀 것입니다. 모든 큰 데이터 스위트는 각 독립 소프트웨어 공급 업체의 해소 Hadoop 클러스터에서 서버에 설치 된 전용 엔진 일반적으로 네이티브 Apache Hadoop 코드를 생성 합니다. 당신이 정말 하 고 싶은 큰 데이터 세트와 함께 할 것도 좋습니다. 일부 솔루션만 재처리, 변환 등의 대용량 데이터 분석을 제공 하는 다른 솔루션 또는 Hadoop 클러스터 데이터 웨어하우스를 채우는 ETL에 대 한 Hadoop의 사용을 지원 합니다. ETL은 Apache Hadoop 및 그것의 생태계의 하나의 사용 사례입니다.


트리 결정: 스위트
대 출시 대 프레임 워크

지금, 당신은 알고 Hadoop의 다른 선택의 차이. 마지막으로, 하자 요약 하 고 아파치 Hadoop 프레임 워크, Hadoop 릴리스 또는 큰 데이터 스위트를 선택 하기 위한 시나리오를 논의.


아래에 있는 "결정 트리" 맞은 것을 선택 하는 데 도움이 될 것입니다:


아파치:


학습과 이해 아래 세부 정보?


전문가? 선택 하 고 자신을 구성 하는 것은?


출시:


쉬운 설치?


초보자 (초보자)?


배포 도구?


는 비즈니스 지원이 필요 하십니까?


큰 데이터 키트:


다양 한 데이터 소스 통합?


는 비즈니스 지원이 필요 하십니까?


코드 생성?


큰 데이터 작업의 그래픽 일정?


(통합, 운영, 분석) 대용량 데이터 처리를 달성 하기 위해?


결론


Hadoop 설치에 대 한 몇 가지 옵션이 있습니다. 만 Apache Hadoop 프로젝트를 사용 하 고 Hadoop 생태계에서 자신의 메일을 만들 수 있습니다. Cloudera, Hortonworks, 등 모임의 Hadoop 릴리스 공급자 등 도구, 비즈니스 지원, 사용자가 지불 하는 노력을 줄일 수 기능을 추가 합니다. Hadoop 릴리스 위에 모델링, 코드 생성, 대용량 데이터 작업 일정, 모든 종류의 데이터 소스 통합 등 추가 기능에 대 한 큰 데이터 집합을 사용할 수 있습니다. 큰 데이터 프로젝트에 대 한 올바른 결정을 다른 옵션을 평가 해야 합니다.