Hadoop 사용자가 큰 데이터의 진화의 핵심 분석을 불에서

하 둡 개발 8 년, 사용의 "파도"를 본 적-동시에와 비슷한 환경에서 Hadoop을 사용 하 여 사용자의 세대. 데이터 처리에서 Hadoop을 사용 하 여 모든 사용자 얼굴 비슷한 도전, 함께 또는 간단 하 게 작동 하는 모두를 위해서 격리 중 일할 수 밖에. 그렇다면 우리는 이러한 고객 들에 대해 이야기 하 고 그들은 어떻게 서로 다른 참조.

No. 0 세대 점화

이것은 시작: Google의 2000 년 연구 논문에 근거 하 여 일부 신자들 저렴 한 스토리지 및 컴퓨팅 파워의 상용화에 대 한 토대를 마련 했습니다.

더 그 커팅은 대 부. 마이크 Cafarella, 함께 그는 오픈 소스 버전을의 Google의 파일 시스템과 MapReduce, Apache Nutch 프로젝트의 일부인 깨달았다. 함께, 두 유비 쿼터 스 Apache Hadoop, 성숙한 큰 데이터 생태계 추론할. 놀랍게도, 다른 경쟁 또는 비즈니스 엔터티 기술의 잠재력을 보고 및 그것은 경쟁 하는 제품을 개발 합니다.

1 세대 초기

Hadoop의 창조 신속 하 게 끌었다 일부 얼 리 어댑터, Web2.0 등의 회사 야 후, 페이 스 북, 파워, Rapleaf, 누구 중의 일부가 둡 둡 (데이터베이스 NoSQL 구성 요소에 더 관심이 있었다 또한 라고 HBase) 합니다. 그들은 모두 현재에 대처 하 고 빠르게 성장 하 고 그들을 도울 수 있는 플랫폼을 기본 사용자 필요 합니다. 그들은 그 게 구글 작업 또한 만날 수 있습니다 그들의 요구 하는 것을 내기. 둡 해 냈 어, 그리고 오늘.

더 중요 한 것은, 이들이 기업은 일반 기업 보다 더 많은 개발자와 강력한 엔지니어링 배경이 있다. 그들의 기술자 Hadoop에 구축 된 솔루션을 개발 하는 회사 내에서 Hadoop를 사용할 수 있습니다. 엔지니어에 대 한 기술 경로 분기 시작: 코드를 파고 하 고 결국 Hadoop 생태계 또는 개발 및 클러스터링은 카테고리에 그룹화 되 고 프로젝트 구축 시작... 우리 개발 규칙에 관련 된 한다 기술의 다양 한 사람과 수 Hadoop의 탄생을 목격 하 고 모든 부담을 어깨. 이것은이 고독한 전사 재능이 있기 때문에 유용 하 고 그들의 일을 할 수입니다.

결국 두 그룹 Hadoop 코드 베이스의 개발을 촉진 하 고 따라서 오픈 소스 라이브러리에 코드 검사 허용 했다 Hadoop 제출 팀으로 선정 됐다. 우리는 Hadoop의 개발 전세계 드라이브 약 200 사람들의 팀에 대 한 이야기 야.

자, 이러한 엔지니어의 일부 다른 프로젝트에 이동 또는 다른 회사에 뛰어 하지만 그들의 대부분은 Hadoop 서클에서 여전히 활성. 특히 주목할 만한 초기에는 Hadoop의 개발을 밀어 야 회사 이다.

2 세대 추종자

Hadoop의 얼에서 Hadoop 종종 호황 웹 3.0과 소셜 네트워크는 지금 회사에 의해 고용 하는 사용자의 새로운 그룹에 의해 감명을 받았습니다. 이러한 사용자는 Hadoop의 형성과 시대의 출현의 주요 원인 (다른 보다 비록). 그들은 보통 당신이 축적 풍부한 자바 코드, 없어 하지만 파이썬, 루비 또는 스칼라 로고와 함께이 놈 "우리 코드 작성 빠른" 에너지 음료와 자바를 제외 하 고 끝 없는 시간의 도움으로 어떤 코드를 깰 수 있다. 그래서 그들은 좋은 웹 사이트를 구축, Last.fm, Spotify는 신속 하 게 함께 Hadoop 부족 하는 것, 같은 파이썬 MapReduce 등 다리 라는 Dumbo (Last.fm), 또는 루이지 (Spotify) 새 작업 예약 시스템입니다.

이제, Hadoop 부품이 부족 젊은 기업가 뿐만 아니라 Hadoop 코어 개발자 커뮤니티의 증가 politicization에 개입 하기를 꺼 려 하는 다른 회사에 모듈 개발의 결과 이다. LinkedIn, 하 둡의 핵심 서비스 개발 도구의 숫자의 예입니다 고 그것은 또한 수집 이벤트, 큐 처리, 및에 수 있도록 보조 시스템을 설정 합니다. LinkedIn는 흥미 있는 사용자는 새로운 커뮤니티를 구축 하려면이 프로젝트를 열 것 이다.

제 3 세대-늦은 시기

지금까지, 모든 Hadoop 프로젝트에 관심이 있는 사용자의 다음 세대는 소위 기업 회사입니다. 그들은 작은에서 큰에, 그들은 순수한 그것은 하드웨어 및 소프트웨어 라이센스를 구입 하는 사용자 들이 필요 하 고 건축가 솔루션, 제품 또는 서비스에 그들을 문질러 하는 것입니다. 하지만 그들은 핵심 개발자가 패치 하거나 Hadoop 스택 구축을 많이 고용 하지 않습니다. 사실, 이러한 사용자의 대부분은 Cloudra CDH Hadoop 빠르게 실행할 수 있도록 같은 Hadoop의 분산된 된을 사용 합니다. 이 다른 운영 체제에서 일을 하 고로 집중할 수 있습니다 Hadoop, 위에 비즈니스 논리는 공급 업체와 통신 하 고 다음 새 버전으로 업그레이드 문제 또는 부족의 구성 요소, 발생 하는 경우.

흥미롭게도, 이러한 사용자가 그 응용 프로그램 부족 더 많은 기업의 정체성 젊은 hadoop 행복 하다. Hadoop 클러스터는 네트워크에서 분리 되 고 사람들의 소수에 의해 관리, 여러 사용자 또는 여러 부하에서 발생 하는 작업을 연기 하는 것이 안전 하다 그래서 일반적으로 하나의 클러스터 한 응용 프로그램을 실행.

4 세대-뉴 웨이브

우리 이제 Hadoop, 적용 하는 회사를 보고 하 고 Hadoop 그것은 단순히 하 둡은 너무 많은 단점을가지고 있기 때문에 그들은 오랜 시간을 기다려. 하지만 엔터프라이즈 데이터 센터의 도래와 함께 기업 Hadoop을 실행할 준비가 되. 빈 등은 대기 시간, 그들은 신중 하 게는 Hadoop을 연구 기능, 시스템의 다양 한 부분을 테스트 하는 시간을 보내고, 명확 하 게 알고 그들이 원하는 기존의 그것 시스템 통합, 보안, 다중 사용자, 다중 로드 데이터 플랫폼, 데이터 관리, 보안 감사 및 관리 기능을 통합.

지적 하 고 싶습니다 또 다른 중요 한 발달은 Hadoop 프로젝트 자체는 사용자의 현재 물결을 아주 처음부터 시간이 지남에 따라 함께 작업 하는 많은 사용자의 결과 되었습니다 고 이제 Hadoop 조각도 초기 멤버의 표시 없음 Hadoop은 그래서 아무도 그것을 나타낼 수 있습니다 일반적인 산업 및 절단 언급할 가치가 있다 더만 중 하나.

이제는 점점 더 많은 엔터 프 라이즈-클래스 제품 Hadoop에 눈을 돌리고 있다, Oracle 데이터베이스의 판매에 도움이 되지 않기 때문에 엘리슨이이 트렌드를 처럼 되지 않습니다. 이것은 실제로 긴축된 버전 Hadoop 사용자에 게 대용량 데이터를 설명 하기 위해 Doug의 요청 되고있다. 사실, 많은 수의 사용자에는 사람들이이 자리에서의 원래 그룹 모르겠어요. 시간 진행을 계속 됩니다.

세대 1.1 주기적 변동

이 원형에 가까운 설명에 내 개인 좋아하는 단어 보이는 장소는: 기술 부채. 1 세대에 다시 하지만 사용자의 두 번째 세대를 더 가자. 우리는 그들은 지속적인 유지 보수를 필요 하 고 진화 하 둡 생물권에 대 한 사용 하는 레거시 시스템의 많은 축적을 볼 수 있습니다. 실제 비즈니스 응용 프로그램에서이 제품을 개발 하 고 서비스 수익 증가를 제공 등 인적 자본을 요구 한다. 어떤 원래 만들어진, 반대 듯 시간에 좋은 생각은 지금 지속적인 지출의 부담. Hadoop, 세대 기업에 대 한 표준이 되었습니다 그리고 그들은 계속 그들의 hadoop 기본 코드의 버전을 수정한. 2 세대에 대 한 그들은 지금 매우 풍부한 도구에서 선택 하는 이러한 도구를 스스로 개발 필요가 없습니다 하지만 그들은 여전히 스스로 의해 유지 될 필요가.

그래서 나는 궁극적으로, 사용자의이 이전 세대 것입니다 스크랩 그들의 이전 노력 도움이 될 둡 릴리스를 마이그레이션할 데이터 기반 제품 및 서비스를 성공적으로 개발 하는 등 그들의 비즈니스에 초점을 예측 공급 업체를 선택 하면서 Hadoop 지킬 것 이다 그들은 항상 데이터 센터 그렇게 할 필요가 있다. 여기 위대한 미래가입니다!