2 Hadoop: 대용량 데이터의 진화에 큰 도약

새로운 Hadoop 뿐만 아니라 가능 하 게 그것은 hadoop, 응용 프로그램을 더 자극 하 하지만 그것 또한 만들어집니다 Hadoop, 내 데이터 처리의 새로운 방법입니다 이전 건축 제약 조건 하에서 가능한. 간단히 말해서, 이것은 좋은 일입니다.

어떤
는 Hadoop의 개발을 제한 되었습니다? Hadoop의 미래는 더 중요 한 것은 무엇 인가?

Hadoop의
의 비판의 확장된 한계의 주위에 회귀 하 고 여기에 가장 큰 문제는 그것의 일. 모든 Hadoop에서 작업의 확장성 병목을 만드는 Jobtracker 라는 데몬을 통해 일괄 처리 및 처리 속도입니다.


와 Hadoop 2,이 jobtracker 메서드는 사라졌다. 둡 두 데몬을 사용 하 여 완전히 새로운 작업 처리 프레임 워크 사용: resourcemanager-시스템, 그리고 각 Hadoop 노드에서 nodemanager 실행에 모든 작업을 관리 그리고 ResourceManager는 노드에 무슨 일이 있었는지 알고. 각 실행 중인 응용 프로그램에는 또한 그것의 자신의 관리 프로그램-applicationmaster 있다.


MapReduce는 또한 이전에서 완전히 다른, 아파치는 새로운 이름을 준: 원사, 또는 또 다른 리소스 협상, 또 다른 자원 코디 네이 터, 새로운 MapReduce 많은 가능한 구성 중 하나로 실행. 사실, 아파치 주장 원사에서 모든 분산된 응용 프로그램 실행할 수 있지만 일부 이식 필요 하다. 이렇게 하려면 아파치 목록을 제공 합니다 원사의 사회적 아이콘 분석 시스템 아파치 Giraph 같은 호환 응용 프로그램 (페이 스 북 사용 하는).


아파치 현명 하지 않기로 호환성이 거꾸로, 그래서 MapReduce 2는 계속 사용 동일한 API와 기존 작업 필요 제대로 작동 하려면 다시 컴파일됩니다.


원사는 대용량 데이터를 처리 하기 위해 다른 아파치 프로젝트와 더 크로스-플랫폼 호환성을 구현 하 둡을 수 있습니다. 이러한 플랫폼 중 하나를 사용 하는 경우 다른 플랫폼을 사용 하 여 쉽게 된다. Hadoop이이 향상 다른 아파치 프로젝트를 드라이브 하는 데 도움이 됩니다.


여기에 가장 큰 개선 자체는 MapReduce은 Hadoop 통해 마이닝 데이터의 여러 가지 방법 중 하나입니다. 아파치 자신의 스파크 (원사를 마이그레이션하는 또 다른 방법은) MapReduce, 보다 일부 유형의 작업에 더 적합 있을 수 있습니다 그리고 Hadoop 2 오른쪽 엔진을 선택 하기 위한 더 많은 옵션을 제공 합니다.


두 대형 업체 Cloudera 및 Hortonworks Hadoop을 사용 하 여 완전히 다른 방향으로 원사의 중요성의 일반적인 보기를 공유. Cloudera의 임 팔 라 HDFs에 저장 된 데이터를 실시간 분석에 적합 하 게에서 실행 되도록 SQL 쿼리 낮은 대기 시간을 허용 하 고 Hortonworks는 대규모 데이터 웨어하우스 작업 (아파치의 기본 하이브 기술을 사용 하 여 선택 예를 들어, 많은 연결 된 작업
포함 된 장기 실행 쿼리
원사를 응용 프로그램을 이식 하는
는 간단한 작업, 그리고 보상 Hadoop이이 영역에서 제공 하는 새로운 프레임 워크 내에서 원사 배포에 따라 달라 집니다. Cloudera와 Hortonworks는 Hadoop 2, 단단한 지지자 그리고 다른 기술에 의존 하거나, 기술의 세대에 집착 하지 그리고이 관점에서 Hadoop 2 아니다 그냥 연기 또는 이전 세대의 이미지.