관계형 DBMS 사용자 Hadoop에 대 한 IBM의 SQL 기술 소개

이 문서는 큰 SQL 관계형 DBMS의 사용자는이 IBM 기술에 대 한 일반적인 질문에 많은 답변을 소개 합니다.

큰 데이터: 분석 하 고 정보를 관리 하는 IT 전문가 위해 유용 하다. 하지만 일부 전문가 아파치 하 둡, 가장 인기 있는 큰 데이터 플랫폼 중 하나 가져왔습니다 새로운 기술의 많은 새로운 쿼리를 포함 한 스크립트 언어 때문에 큰 데이터를 사용 하는 방법을 이해 하기 어렵다.

큰 SQL Hadoop 플랫폼에 기반 하는 IBM infosphere biginsights SQL 인터페이스입니다. 큰 SQL은 Hadoop에 의해 관리 되는 데이터에 대 한 쿼리를 SQL 개발자가 쉽게 설계 되었습니다. 그것은 데이터 관리자가 하이브, HBase, 또는 그들의 biginsights 분산 파일 시스템에 저장 된 데이터에 대 한 새 테이블을 만들 수 있습니다. 또한, 부하 명령을 관리자가 다양 한 소스에서에서 데이터와 큰 SQL 테이블을 채울 수 있습니다. 그리고 큰 SQL 용 JDBC 및 ODBC 드라이버 사용 큰 SQL을 사용 하 여 분산 된 데이터를 쿼리 하는 데 많은 기존 도구.

그러나, 큰 SQL 큰 분산된 관계형 데이터베이스에 Hadoop를 변환 하지 않습니다. 무엇을 할 수 있는 큰 SQL을 알고 싶은 경우 우리 여기에 그것의 기초를 설명 합니다, 그리고 몇 가지 일반적인 오해를 명확히 하 고 많은 관계형 DBMS의 사용자가 자주 발생 하는이 새로운 기술에 대 한 질문에 대답 하려고.

큰 SQL 개요

큰 SQL 테이블을 생성 하 고 친숙 한 SQL 문을 사용 하 여 Biginsights에 데이터를 쿼리 하는 IT 전문가 수 있도록 하는 소프트웨어 계층 이다. 이렇게 하려면, 프로그래머는 표준 SQL 구문을 사용 하 여 그리고, 경우에 따라 일부 Hadoop 기반 기술을 활용 하 여 쉽게 수 있도록 IBM 만든 SQL 확장을 사용. 우리는 더 자세히 나중에 이러한 항목을 설명 합니다.

큰 SQL 무엇입니까의 아이디어를 주고에 그림 1의 아키텍처 Biginsights 엔터프라이즈 에디션 2.1 플랫폼에 통합 하는 방법을 보여줍니다.

그림 1입니다. 큰 SQL 스키마

리눅스에서 상단에 같이 큰 SQL 지원 JDBC, ODBC 클라이언트 액세스® Windows® 플랫폼. 또한, 큰 SQL 로드 명령을 다양 한 관계형 DBMS 시스템에서 직접 사용할 수 있습니다 (IBM puredata™ 시스템 분석, d b 2에 대 한®와 Teradata Netezza 기술에 의해 지원) 로컬로 저장 및 또는 biginsight s 분산 파일 시스템 데이터를 읽는. Biginsights 전자 2.1 파일 Placeme와 Hadoop 분산 파일 시스템 (HDFS) 또는 IBM의 일반 병렬 파일 시스템을 지원 하도록 구성할 수 있습니다. NT 최적화 (FPO GPFS)입니다.

SQL 쿼리 엔진 연결, 조합, 그룹화, 공통 테이블 식, 창 기능, 및 다른 익숙한 SQL 식을 지원합니다. 또한, 힌트 및 구성 옵션을 최적화 하 여 데이터 액세스 정책을 변경할 수 있습니다. 동시에, 다양 한 쿼리 작업을 처리 하거나 단일 노드에서 큰 SQL Server에서 쿼리를 로컬로 실행 하는 쿼리, 데이터 양 및 다른 요인의 특성에 따라 큰 SQL Hadoop의 MapReduce 프레임 워크를 사용할 수 있습니다 중 쿼리에 대 한 최고입니다.

조직은 관심이 큰 SQL은 일반적으로 SQL 기반 비즈니스 인텔리전스 응용 프로그램 및 쿼리/보고 도구 모음 뿐만 아니라 사내,에 다양 한 SQL 기술의 가진다. 조직 Hadoop에 익숙하지, 기존 기술과 도구를 활용할 수 있게 되 고 (그리고 아마도 일부 기존 응용 프로그램을 다시 사용)의 개념 매우 매력적인 하실 수 있습니다. 실제로, 일부 기업은 큰 데이터 웨어하우스 DBMS 시스템을 기반으로 쿼리 액세스 지원 하면서 언로드 "콜드" 또는 자주 사용 데이터에 대 한 잠재적인 대상으로 사용 되는 Hadoop 기반 플랫폼에 대 한 찾고 있습니다. 다른 경우에는 조직 분석 (로그, 센서 데이터, 소셜 미디어 게시물, 등 등), 비 전통적인 데이터를 필터링 하 고 궁극적으로 하위 집합 또는 그들의 제품, 고객, 또는 서비스 조회를 증가 시키기 위해 그들의 관계형 창 고에이 정보의 수집 제공 하 둡에 의존 합니다.

이들과 다른 경우, 큰 SQL 중요 한 역할을 재생할 수 있습니다. 그러나, 큰 SQL 관계형 DBMS 기술을 대체할 것입니다 생각 하는 적합 하지 않다. 큰 SQL은 HADOOP 기반 인프라를 보완 하 고 biginsights에 그것을 활용 하 여 설계 되었습니다. 관계형 DBMS 시스템의 몇 가지 일반적인 기능 큰 SQL에 존재 하지 않습니다 그리고 몇 가지 큰 SQL 기능 대부분 관계형 DBMS 시스템에 존재 하지 않습니다. 예를 들어 큰 SQL 쿼리 데이터를 지원 하지만 SQL UPDATE 또는 DELETE 문을 지원 하지 않습니다. INSERT 문은 HBase 테이블 에서만 지원 됩니다. 큰 SQL 테이블 구조체와 배열, 보다는 오히려 간단한 "플랫" 행 등 복잡 한 데이터 형식의 열을 포함할 수 있습니다. 일부 기본 스토리지 메커니즘 또한, 포함 하 여 지원 됩니다.

큰 SQL 기능의 더 나은 아이디어를 얻을을 좀 더 자세하게에서 살펴보겠습니다.