NoSQL 선택 및 HBase 케이스

다음, 왕 Shupeng, 동료 연구원의 정보 기술 연구소, 중국 과학원, 개발 및 새로운 NoSQL 대용량 데이터 관리 시스템 (BDM)의 사용을 공유. 왕 Shupeng 그가 연락 하는 프로젝트의 대부분 비 인터넷 애플 리 케이 션, 보안, 교통 등 했다. 이러한 산업 지금 큰 데이터를 직면 하지만 많은 인기 있는 NoSQL 데이터베이스는 적용 되지 않습니다 그들에 게, 그래서 그들은 독립적으로 NoSQL 데이터베이스 관리 시스템 개발.

디자인 목표

시스템은 확장성: 노드를 추가 하 여 선형 수

복잡 한 데이터 형식의 통합된 스토리지 관리에 대 한 지원: 구조화, 반 구조화 및 구조화 되지 않은 데이터, 텍스트 데이터, 멀티미디어 데이터, 그리고 통합된 조직 관리 및 여러 종류의 비즈니스 데이터에 대 한 처리

다양 한 종류의 액세스에 대 한 지원, 액세스 인터페이스 표준화: 검색, 통계 분석, 협회 처리 및 심도 있는 광업, 다양 한 포괄적인 분석, 표준 DDL의 제공에 관련 된 비즈니스 데이터에 대 한 필요성 DML 작업 구문, 지원 JDBC, ODBC 및 기타 운영 인터페이스, 데이터 검색, 통계, 분석 및 실시간 요구의 처리는 높은 검색 필요한 두 번째 수준의 응답; 크로스-도메인 검색 액세스

위의 다이어그램은 프레임 워크의 전체 시스템, 있는 데이터베이스 관리 플랫폼의 구조는 다음과 같습니다.

이 데이터 관리를 통해 관리 엔진을 통해 수행할 수 있습니다. 외부는 인터페이스를 해당 DDL, DML 인터페이스와 개발 인터페이스를 제공할 수 있습니다.

시스템의 주요 기능

공유-아무것도 분산 스토리지 및 컴퓨팅 아키텍처

조직 및 이기종 다중 소스 데이터 관리: 구조화 된 데이터와 구조화 되지 않은 텍스트 비정형된 멀티미디어 스토리지 관리를 통합

다른 유형의 데이터를 지 원하는 통합된 SQL 쿼리: SQL을 통해 구현할 수 있는 구조화 및 구조화 되지 않은 텍스트의 분석과 검색에 대 한 지원

다양 한 데이터 액세스 및 처리 패턴

효율적인 검색 메커니즘

유형이 다른 여러 복제 저장 및 복구 메커니즘

크로스 도메인 배포, 어디 여러 데이터 센터는 데이터 센터 간에 이동 하는 데이터 및 활성화 글로벌 검색 및 다른 지역에 위치한 데이터에 액세스 하는 여러 물리적 위치에 건축 될 수 있다에 대 한 도메인 간 데이터 관리 및 검색 지원

응용 프로그램 시나리오

거 대 한 구조화 된 레코드의 관리

작은 문서 관리 및 처리의 대용량 처리

지능형 검색 및 유형이 다른 데이터 마이닝 시스템

성공 사례

왕 Shupeng 도입 시스템은 성공적인 응용 프로그램의 경우, 대용량 데이터 관리 프로젝트의 국가 사역입니다. 이 시스템의 주요 요구 사항은 다음과 같습니다.

많은 정보 레코드, (약 4 TB); 하루 약 4 십억을 생성

데이터 백업 복사본을 6 개월;에 대 한 기록 데이터를 유지

정확 하 고, 퍼지 쿼리 및 통계, 2 차 응답;의 결과 데이터 수 있습니다.

일괄; 데이터 및 구조화 되지 않은 데이터를 가져올 수 있습니다.

최종 구현 효과:

분산된 스토리지 아키텍처 (3 메타 데이터 노드 + 115 스토리지 노드) 채택 된다.

데이터 규모 500 십억 이상, 쿼리 응답 시간 두 번째 수준;

데이터 보관 데이터 보안; 2 부

사용 가능한 시스템의 용량은 2PB에 대 한입니다.