패턴 및 Hadoop에 정상 2013:hadoop 생물권의 추세

오늘, 난 3 기조 연설, 토론 기술 공급 업체의 많은와 8, 42 세션에 참석, 정말 큰 강타 하루.

Hadoop이 년, 출생에서 7 년 이며 올해 많은 새로운 변화 되었습니다.

1, 하 둡 데이터 처리 용량 (가트너)의 엄청난 금액을 제공 하는 분산된 환경에서 큰 산업 데이터 표준 오픈 소스 소프트웨어의 집합으로 인식 된다. 거의 모든 주요 제조 업체는 하 둡 개발 도구, 오픈 소스 소프트웨어, 고급 도구 및 기술 서비스 돌고 있다. 올해, 그것 기업, EMC, 마이크로소프트, 인텔, Teradata, 그리고 시스 코, 크게 있다와 같은 큰 둡, 그들의 입력 증가 하 고 Teradata 모두 한 기계; 또한 공개적으로 나타났습니다. 이 시간에는 sqrrl, WANdisco, Gridgain, InMobi 보았다, 오픈 소스 또는 상용 소프트웨어를 시작 했습니다.

2, Hadoop 생태계 풍부 하 고 화려한, 하지만 핵심 Cloudera, hortonworks 컨트롤에 단단히 기본적으로 가능성을 동요 하지 않았다. 올해 Hortonworks 선전은 100% 오픈 소스, 그 열리지 Cloudera 엔터프라이즈 관리자 소스 코드 라는 서둘러야 할 cloudera 했다? Hortonworks Ambari 도입, 장소 적어도 5 Cloudera 엔지니어 들을 신중 하 게, 젊은 남자 끊임없이 ipad 속기에, 경쟁 볼, 개인 견적 될 수 있다, Cloudera 조만간 엔터프라이즈 관리자 오픈 소스를 것입니다. Hortonworks 현재 Ambari 커 20 +, 참가자 50 +, 후자의 수 물, 있을지도 하지만 첫 번째 문제입니다. 업데이트, 1.25 버전은 1.0 x 버전의 하루 보다 더 분명 한 지금. 플러그인에 종사 하는 다른 제조 업체의 생존의,와 같은 WANdisco, vm 웨어, Mellanox, Gridgain, 플러그 인 및 수정할 수는 없습니다 플러그인에서 이러한 제조 업체의 핵심 코어를 이동할 수 없습니다, 그리고 지속적인 투자는 VMware와 같은 일부 역할을 할 수 있습니다 하지만 첫 번째 계층 둡 업체가 게 결코 것 이다.

3, Hadoop 2.0 변환 기본적으로 막을 아니다. Hortonworks의 Vparun Tez, 소개 했다 많은 흥미로운 ppt, 주제는 하나: MapReduce는 이미 어제, 원사 미래의 병렬 컴퓨팅 인프라를 될 것입니다. 사용 하지 않은 원사, 하지만 Hortonworks 원사, 특히 tez, 쿼리 계획, 돼지의 실행 시간을 향상 시킬 수 있는 주변 도구를 많이 개발 하 고 하이브를 다시 작성 및 다시 로드 됩니다. Hortonworks 비록 임 팔 라에서 얻지 않았다 그러나 더 낮은 수준의 기술에서 임 팔 라, 두 장남 형 레이아웃을 포위 하 고 경연은 결코 멈추지 않았다.

4. SQL Hadoop 통해 중요 한 기술 트렌드 이다. 지난해 하 둡 세계, MPP는 또한 어떻게 자랑 황소 x. 하지만 구글 발표 Dremel 및 POWERDRILL, Hawq, 임 팔 라에서 cloudera를 EMC 후 모든 MPP 기술 그들의 경로 다시 생각 하기 시작 했다. Parccel 기술자 (느낌은 사전 판매) 논의 그녀가 발견 한 카드 Parccel 속도 100 X, 하이브는 Impala10 년 선도. 이 연설 오작동 곧 것 이다 느낄 첫 번째는 하이브 최적화 중지 하지 않았습니다, Tez, 스 팅 어 (페이스 북)와 밖으로 hortonworks. MPP는 선도 Hadoop 80:20 원칙에 따라 몇 년 동안 Hadoopsql만 20% 기능을 사용자 요구를 할 경우, 비록 다음 격차 최대 2 년 이며 2 년 이내 Hadoopsql 일부 지역에서 MPP를 능가할 것입니다. MPP 엔터프라이즈의 탈출구 HAWQ를 배울 것입니다. 열 저장은 또한 새로운, 최근 (MS와 Hortonworks 협력), 주로 오크 나무 마루 (트위터와 cloudera 협력), 나무 두 거 PK 인 그림을 볼 수 있다? 볼 나무는 연대 PK를 개최? 이러한 기술을 테스트에서 큰 장점을 보여합니다

5, 그것과 널리 협조 오픈 소스 단위. 그것은 단지 사이 공급 업체 및 오픈 소스, 하지만 그것은 실제로 작동 함께. 협력, 내부 정보에 대 한 매우 분명 하지 않다 하지만 기본적으로 두 가지 모드: 크로스 (를 포함 하 여 관리 시스템 통합) 통합, 공동 개발 및 프로 모션 제품/소프트웨어. 소프트웨어의 기술적 요구는 좋은 아키텍처, 개방형 인터페이스,이 포인트 Ambari 디자인 및 HT에 대 한 내 요구 사항을 제공 하 고 난 할 수 없어, Amabri 몇 가지 버전을 개발 했다.

6, 기술적으로, 큰 데이터와 클라우드 통합 또한 옵션 (참고, 추세, 하지만 옵션)입니다. 새로운 OpenStack 관련 문제, 추가 일부 통합자 및 공급 업체는 클라우드 하 둡을 적용 하기 위한 시나리오를 제안 또한. 이 모든 사람에 게 적용 되지 않습니다 하지만 일부 사용자가 혜택을 받을 수 있습니다. 넷 플 릭 스는 전형적인 예를 들어, AWS에 그들의 예는 고 분명히 그들의 Hadoop 가상 컴퓨터 기반는 넷 플 릭 스와 상호 작용 젊은이 (일본어), 약 2000의 가상 인스턴스를가지고, EMR, 기반 및 Gennie 관리 시스템 개발.

4 시간에는 빅뱅 뉴스에 있다. 작은 마당을 붙여 호텔에서 즐길 수 있는 멋진 작은 다람쥐 바를 참조 하십시오, 그것 하지 5 미터 나, 정말 환경 미국 황제의 칭찬 하 고 싶지!