모임의 새로운 수준에 sql에 hadoop을 밀어 하려고

오늘 모임의 아파치 드릴 0.5 무거운 데이터 엔지니어링 노력을 줄이기 위해 추가 Hadoop 출시 된 업데이트.

드릴 오픈 소스 배포 셀프 서비스 데이터 분석에 주로 사용 하는 ANSI 쿼리 엔진입니다. 이 큰 데이터 세트는 지원의 대화형 쿼리는 bigquery 서버에 주로 사용 되는 Google의 Dremel 시스템의 오픈 소스 버전입니다. 아파치 드릴 프로젝트의 목표 초에서 페타 바이트의 데이터와 레코드의 수조를 처리 하는 동안 10000 서버 또는 서버를 확장할 수 있도록 하는 것입니다.

드릴 쿼리 엔진은 다음과 같은 기능을 구현할 수 있습니다.

· 나무 마루, JSON 파일 및 데이터베이스 관리자 (DBA)의 개입 없이 HBase 테이블을 포함 하 여 그것의 원래 형식으로 데이터를 분석 합니다.

· MongoDB 및 온라인 나머지 Api 같은 NoSQL 데이터 저장소에서 세미 structured/중첩 데이터 변경 분석.

· 파일, hbase 테이블 같은 다른 Hadoop 데이터 소스를 결합 하 고 하이브 테이블 쿼리를 만듭니다.

· 기존 SQL 기술 세트, bi 도구 및 아파치 하이브 배포를 다시 사용

"우리는 그것에 대해 매우 흥분 hadoop sql에 대 한 새로운 시대를 열기 때문 에" 말한다 잭 노리 스, 모임의의 최고 마케팅 책임자, "IT 부서의 개입 없이 Hadoop의 자체 데이터 분석에 초점을." "

드릴 다양 한 형식에서에서 실행 중인 SQL 쿼리를 지원 하기 때문에 주 준비 및 패턴 관리 및 ETL 작업을 설정 하지 않고 실시간 데이터 분석을 사용할 수 있습니다. 이 방법에서는, 그것은 여러 데이터 원본에 걸쳐 즉각적인, 셀프 서비스 데이터 분석을 제공할 수 있습니다.

"기업 하 둡과 NoSQL 데이터베이스에 저장 된 데이터에 액세스할 수 있도록 기존 SQL 분석 기술 가진 사용자가 원하는" 말했다 매트 Aslett, 451 연구 회사. "아파치 드릴에 액세스할 수 있습니다, 하 둡에 데이터 분석 및 데이터 플랫폼의 감독 (+이 마이크로 편지 Networkworldweixin 역), 중앙 집중식된 모드의 필요 없이 NoSQL 데이터 집합의 복잡 한 구조를가지고 필요 하지 않습니다. "

"서로 고정된 패턴에 의존 하는 Sql에 hadoop 솔루션 하이브 또는 Tez," 노리 스, "mapreduce, 벌 통, 또는 다른 sql에 hadoop 솔루션에 대 한 얘기 고, 우리 모두가 할 필요가이 모델링 추가 데이터 변환 및 분석을 지원 하기 위해 파이프라인 드릴 속도 유연성의 장점을 함께 제공, 기다리지 않고 데이터를 검색할 수 있습니다. "

드릴 및 모임의 4.0.1, 또한 오늘 발표 된 모임의 캡슐화입니다. Hadoop 릴리스의 새로운 버전 사용 사례, 작업 응용 프로그램, 대화형 쿼리를 포함 하 고 스트리밍 처리에 대 한 사실 타임 기능을 확장 합니다.

MapReduce를 포함 한 여러 일괄 처리 프레임 워크를 포함 하는이 새로운 버전 1.x와 2.x (원사 기준), 스파크 (0.9와 1.0.2). 그것은 또한 5 hadoop에 Sql 기술 지원: 하이브 (0.11, 0.12, 0.13), 드릴 (0.5), Sparksql (1.0.2), 임 팔 라 (1.3.1), 그리고 HP 수직 통합 인증. 그것은 또한 mahout (0.8, 0.9)의 형태로 HBase (0.94.21, 0.98.4) 모임의 db NoSQL 기술 뿐만 아니라 3 개의 기계 학습 및 그래픽 라이브러리를 지원 Mllib (0.9, 1.0.2) 및 Graphx