마이크로소프트 큰 데이터 솔루션: Hadoop 소개

Hadoop은 http://www.aliyun.com/zixun/aggregation/14417.html에 의해 개발 되었다 "> 아파치 재단, 오픈 소스 조직." Hadoop의 아이디어는 차입 분산된 프로그램, 계산 하 고 저장 하는 클러스터의 기능을 활용 하 여 간단 합니다. Hadoop 추상, 소리 고 일부 더 많은 기괴 한 이름의 것 처럼 Hadoop은 복잡 한 문서에 나열 됩니다. 사실, Hadoop은 단순 하 고 간단. Hadoop의 핵심은 3 구성 요소, 또는 심지어 2. 하나는 HDFs로 분산된 파일 시스템 (Hadoop 분산 파일 시스템)입니다. 또 하나는 MapReduce의 응용 프로그램 (그리고 하나 분산 HBase nosql 열 데이터베이스입니다.)

HDFs과 높은 결함 허용 특징은 저가 하드웨어에 배포 하도록 설계 되었습니다. 이것은 의미의 많은 있다. 데이터를 보유 하 고 있는 하드웨어의 낮은 비용, 때문에 사용자가 취소 또는 비용 문제 때문에 오래 된 데이터를 격리 하지 않고 많은 양의 데이터를 저장할 수 있습니다. 높은 내결함성을 위해 HDFs의 원리 이므로 또한 매우 간단 합니다, 그것은 실패 한 노드를 배포할 수 있도록 작업 데이터의 여러 복사본을 유지 관리. 또한, 대형된 파일을 HDFs 액세스 큰 파일 액세스 성능 향상을 위해 스트리밍 형태로 파일 시스템에서 데이터에 액세스 최적화

MapReduce 엔진 MapReduce 응용 프로그램은 주로 2 기능-지도 기능 및 감소 기능을 포함합니다. 지도 데이터의 집합을 허용 하 고를 키/값 쌍의 목록, REDUC 함수 목록과 지도 기능에 의해 생성 된 다음 (생성 하는 각 키에 대 한 키/값 쌍)의 키에 따라 키/값 쌍의 목록을 축소 허용. 당신에 게 간단한 예를 보자.

입력이 케이크를 사려고 하는데요 가정, 지도 기능을 실행 하는 자전거를 사고 싶은 당신의 다음과 같은 키/값 쌍을 그릴 것입니다.

(I, 1) (원하는, 1) (하, 1) (구매, 1) (A, 1) (케이크, 1)

(1) (원하는, 1) (하, 1) (구매, 1) (A, 1) (자전거, 1)

키/값 쌍이 목록에 Reduce 함수를 적용 하는 경우 당신은 다음 순차 키/값 쌍 집합:

(A, 2) (자전거, 1) (구매, 2) (케이크, 1) (I, 1) (하, 2) (원하는, 2) (1)

Hadoop, MapReduce 처리 될 수 있습니다 동시에 여러 노드에서 같이 사고 싶어 하기 때문에 케이크 노드 처리기, 자전거를 구입 하려는 다른 노드에 의해 처리 되 고 다음 두 개의 키/값 쌍이 다른 감소를 적용 함수 구현 Hadoop의 병렬 처리의 힘.

기타 도구 그리고 Hadoop 에코 시스템 하이브, 같은 응용 프로그램에 돼지. MapReduce와 HDFS 기능과 Hadoop의 원리를 이해 하는 만큼 당신은 실제로 Hadoop 작동 하는 주요 방법은 이해.