큰 숫자 입력 기업의 전통적인 데이터 처리 방법을 상속 하는 방법

"추상" 때 Hadoop 입력 기업, 그것 해결 및 전통적인 거래 정보 아키텍처 그것을 성숙 하는 방법의 문제를 직면해 야 한다. 과거에는, MapReduce 구조화 되지 않은 데이터 로그 파일 분석, 인터넷 클릭 스트림, 인터넷 인덱스, 기계 학습, 금융 분석, 과학 시뮬레이션, 이미지 저장 및 행렬 계산을 해결 하기 위해 주로 사용 되었다. 하지만 기업에서 원래 구조화 된 데이터와 처리 하는 방법 큰 데이터 필드에 입력 하는 기업의 어려운 문제입니다. 기업은 구조화 되지 않은 데이터와 구조화 된 데이터 모두를 처리할 수 있는 대용량 데이터 기술 필요.

대용량 데이터 시대에 Hadoop 주로 구조화 되지 않은 데이터를 처리 하는 데 사용 되 고 구조화 된 데이터의 전통적인 IOE 아키텍처와 함께 처리 하는 방법을 기업에 대 한 어려운 문제입니다. 이런이 맥락에서 구조화 된 데이터와 구조화 되지 않은 데이터 처리, Hadoop에 SQL 떠오르고 있다.

SQL Hadoop에 2013 년의 가장 뜨거운 주제 이었고 Cloudera 임 팔 라의 릴리스 버전에 의해 추진 되었다. 현재, Hadoop에 SQL 초기 단계에 있으며 많은 기술 사례 있습니다. 그리고 엔터프라이즈는 작은 데이터의 유연한 처리에 적응 하고있다, 때문에 Hadoop에가 서 갑자기 될 혼동, Hadoop에 SQL의 음성은 성장 하 고 그래서. Hadoop에 SQL Hadoop 성능 및 SQL 유연성을 보장합니다. Hadoop에 SQL에 대 한 업계 다른 보기, 업계 주요 데이터 기업 또한 적극적으로 공부 하 고 있습니다.

1. 상단에 db의 전통적인 방법으로

일부 북미 공급 업체 위에 DB에 대 한 전통적인 접근을 사용 하 여 다른 데이터 작업에 대 한 다른 컴퓨팅 프레임 워크를 결합 하는 Hadoop에 SQL을 해결 하기 위해. EMC Greenplum, HADAPT, citus 데이터에 의해 표현 됩니다. HADAPT는 구조화 된 데이터의 쿼리를 완료 하는 Hadoop에 PostgreSQL 프레임에 연결 됩니다. Hadoop의 높은 확장성 및 관계형 데이터베이스, Hadoop와 관계형 데이터베이스 간의 쿼리 분리의 높은 속도 활용 하는 통합된 데이터 처리 환경을 제공 합니다. Citus 데이터 분산된 처리 기술을 사용 하 여 여러 형식을 데이터베이스의 네이티브 형식으로 변환 하 여 쿼리를 완료.

그림 1, Hadapt

최고 접근에 DB 먼저 2010 년에서 HADAPT에 의해 제안 된와 아마존 EMR Community Edition에서 실행할 준비가 구조화 및 구조화 되지 않은 데이터를 해결 하기 위해 업계 동료에 의해 초기 시도 이다. 그러나, 본질은 두 계산 프레임 워크에서 데이터는 별도로 저장는 높은-성능 데이터를 관계형 엔진에 구조화 된 데이터의 저장 그림 1에서 보듯이 (고성능 관계형 엔진 구조). 구조화 되지 않은 데이터는 Hadoop 분산 파일 시스템 (구조화 되지 않은 데이터에 대 한 Hadoop 분산 파일 시스템)에 저장 하 고 두 가지 유형의 데이터 상호 작용 슬라이스 쿼리 실행에 따라 달라 집니다. 메타 데이터의 조직 제어 시스템 확장의 진화에 과도 한 기술 해야 합니다.

(책임 편집기: 유산의 좋은)