Hadoop: 빅 데이터의 도전 직면

Http://www.aliyun.com/zixun/aggregation/14417.html "> 아파치 Hadoop 데이터를 많이 사용의 구현을 단순화 하 여 큰 데이터의 문제를 해결 하기는 매우 분산된 응용 프로그램을 병렬. 빠른 분석 시간과 대규모 데이터 스토리지의 배포를 제공 많은 기업, 대학 및 작업 조각으로 분할 하 여 컴퓨터의 수천에 게 배포 분석 작업을 수 있습니다, 세계, 주위 다른 조직에서 Hadoop은 사용 중입니다. Hadoop에는 방대한 양의 데이터를 저장 하는 경제적인 방법을 제공 합니다. 상용 하드웨어 클러스터와 데이터의 대용량을 처리 하기 위한 확장 가능 하 고 안정적인 메커니즘을 제공 합니다. 그것은 또한 소설 및 다른 구조에 있는 데이터의 복잡 한 분석 처리에 대 한 고급 분석 기술을 제공 합니다.

Hadoop 분산된 이전 시나리오에서 다음과 같은 방법으로 다릅니다.

데이터 사전에 배포 됩니다.

안정성과 가용성을 보장 하기 위해, 데이터는 컴퓨터 클러스터를 통해 백업 됩니다.

데이터 처리는 따라서 대역폭 병목 현상의 생성을 방지 하는 데이터 저장소의 위치에서 실시 하려고 합니다.

또한, Hadoop 분산된 이전 구현에 존재 하는 복잡성을 추상화 하는 간단한 프로그래밍 방법을 제공 합니다. 그 결과, Hadoop는 다음을 포함 한 데이터 분석을 위한 강력한 메커니즘을 제공 합니다.

대용량 저장-hadoop 수천의 컴퓨터와 페타 바이트의 데이터를 사용 하 여 응용 프로그램을 수 있습니다. 지난 10 년 동안 컴퓨터 전문가 알 았 저렴 한 "상업" 시스템 슈퍼 컴퓨터에 의해서만 이전에 처리 하는 고성능 컴퓨팅 응용 프로그램 함께 사용할 수 있는. 클러스터로 "작은" 컴퓨터의 수백을 구성 하 여 얻을 수 있습니다 더 많은 컴퓨팅 파워 일반적으로 하나의 슈퍼 컴퓨터 보다 상대적으로 저렴 한 가격에. Hadoop의 클러스터를 활용할 수 있는 보다 저렴 한 가격에 거 대 한 저장 및 처리 능력을 제공 하는 컴퓨터의 수천.

빠른 데이터 액세스-클러스터링 hadoop 분산된 처리는 빠른 데이터 액세스를 제공 하면서 대규모 데이터의 효율적인 저장을 제공 합니다. Hadoop, 전에 병렬 컴퓨팅 작업을 수행 하는 클러스터의 시스템 간에 배포 하기 어려운 했다. 이 때문에 매우 높은 I/O 성능이 필요로 하는 공유 데이터 저장소에 의존 하는 클러스터 실행 모델. 하 둡 데이터를 프로그램 실행을 이동합니다. 데이터를 응용 프로그램을 이동 고성능 도전의 많은 완화 한다. 또한, Hadoop 응용 프로그램은 종종 순차적으로 데이터를 처리 하도록 설계 되었습니다. 이 임의의 데이터 액세스 방지 (디스크 검색 작업) 추가 I/O 부하를 감소 시킨다.

신뢰성, 장애 조치, 확장성에서 컴퓨터 클러스터 사용 될 때 과거 병렬 응용 프로그램의 구현 하는 데 필요한 안정성 문제에 선 수. 단일 컴퓨터의 안정성은 매우 높은, 하지만 실패의 확률이 클러스터 크기의 증가 함께 증가 합니다. (컴퓨터의 수천)의 대규모 클러스터에는 매일 실패 드물지 않다. Hadoop은 설계 및 구현 방법을 감안할 때, 기계 실패 (또는 컴퓨터의 그룹) 하지 일치 하지 않는 결과 귀 착될 것 이다. Hadoop 실패와 다시 시도 실행 (를 사용 하 여 다른 노드)을 검색 합니다. 또한, Hadoop에 내장 된 확장성 완벽 하 게 클러스터에 추가 (수리) 서버를 추가 하 고 데이터 저장 및 프로그램 실행을 위해 그들을 사용 하 여 수 있습니다.

대부분의 Hadoop 사용자에 대 한 Hadoop의 가장 중요 한 기능은 프레임 워크 지원 코드에서 비즈니스 논리 프로그램의 명확한 분리 이다. 비즈니스 로직에 집중 하 고 싶은 사용자를 위해 Hadoop 어려운 문제를 해결 하기 위해 복잡 한 분산 컴퓨팅에 대 한 간단 하 고 사용 하기 쉬운 플랫폼을 제공 하는 프레임 워크의 복잡성을 숨깁니다.