NoSQL 선택 및 HBase 케이스

출처: 인터넷
작성자: 사용자
키워드: 텍스트를 통해 달성

다음, 왕 Shupeng, 동료 연구원의 정보 기술 연구소, 중국 과학원, 개발 및 새로운 NoSQL 대용량 데이터 관리 시스템 (BDM)의 사용을 공유. 왕 Shupeng 그가 연락 하는 프로젝트의 대부분 비 인터넷 애플 리 케이 션, 보안, 교통 등 했다. 이러한 산업 지금 큰 데이터를 직면 하지만 많은 인기 있는 NoSQL 데이터베이스는 적용 되지 않습니다 그들에 게, 그래서 그들은 독립적으로 NoSQL 데이터베이스 관리 시스템 개발.

디자인 목표

시스템은 확장성: 노드를 추가 하 여 선형 수

복잡 한 데이터 형식의 통합된 스토리지 관리에 대 한 지원: 구조화, 반 구조화 및 구조화 되지 않은 데이터, 텍스트 데이터, 멀티미디어 데이터, 그리고 통합된 조직 관리 및 여러 종류의 비즈니스 데이터에 대 한 처리

다양 한 종류의 액세스에 대 한 지원, 액세스 인터페이스 표준화: 검색, 통계 분석, 협회 처리 및 심도 있는 광업, 다양 한 포괄적인 분석, 표준 DDL의 제공에 관련 된 비즈니스 데이터에 대 한 필요성 DML 작업 구문, 지원 JDBC, ODBC 및 기타 운영 인터페이스, 데이터 검색, 통계, 분석 및 실시간 요구의 처리는 높은 검색 필요한 두 번째 수준의 응답; 크로스-도메인 검색 액세스

위의 다이어그램은 프레임 워크의 전체 시스템, 있는 데이터베이스 관리 플랫폼의 구조는 다음과 같습니다.

이 데이터 관리를 통해 관리 엔진을 통해 수행할 수 있습니다. 외부는 인터페이스를 해당 DDL, DML 인터페이스와 개발 인터페이스를 제공할 수 있습니다.

시스템의 주요 기능

공유-아무것도 분산 스토리지 및 컴퓨팅 아키텍처

조직 및 이기종 다중 소스 데이터 관리: 구조화 된 데이터와 구조화 되지 않은 텍스트 비정형된 멀티미디어 스토리지 관리를 통합

다른 유형의 데이터를 지 원하는 통합된 SQL 쿼리: SQL을 통해 구현할 수 있는 구조화 및 구조화 되지 않은 텍스트의 분석과 검색에 대 한 지원

다양 한 데이터 액세스 및 처리 패턴

효율적인 검색 메커니즘

유형이 다른 여러 복제 저장 및 복구 메커니즘

크로스 도메인 배포, 어디 여러 데이터 센터는 데이터 센터 간에 이동 하는 데이터 및 활성화 글로벌 검색 및 다른 지역에 위치한 데이터에 액세스 하는 여러 물리적 위치에 건축 될 수 있다에 대 한 도메인 간 데이터 관리 및 검색 지원

응용 프로그램 시나리오

거 대 한 구조화 된 레코드의 관리

작은 문서 관리 및 처리의 대용량 처리

지능형 검색 및 유형이 다른 데이터 마이닝 시스템

성공 사례

왕 Shupeng 도입 시스템은 성공적인 응용 프로그램의 경우, 대용량 데이터 관리 프로젝트의 국가 사역입니다. 이 시스템의 주요 요구 사항은 다음과 같습니다.

많은 정보 레코드, (약 4 TB); 하루 약 4 십억을 생성

데이터 백업 복사본을 6 개월;에 대 한 기록 데이터를 유지

정확 하 고, 퍼지 쿼리 및 통계, 2 차 응답;의 결과 데이터 수 있습니다.

일괄; 데이터 및 구조화 되지 않은 데이터를 가져올 수 있습니다.

최종 구현 효과:

분산된 스토리지 아키텍처 (3 메타 데이터 노드 + 115 스토리지 노드) 채택 된다.

데이터 규모 500 십억 이상, 쿼리 응답 시간 두 번째 수준;

데이터 보관 데이터 보안; 2 부

사용 가능한 시스템의 용량은 2PB에 대 한입니다.

관련 문서

연락처

이 페이지의 내용은 인터넷에서 가져온 것이므로 Alibaba Cloud의 공식 의견이 아닙니다.이 페이지에서 언급 된 제품 및 서비스는 Alibaba Cloud와는 관련이 없으므로이 페이지의 내용이 골칫거리 인 경우 저희에게 알려주십시오. 우리는 5 일 근무일 이내에 이메일을 처리 할 것입니다.

커뮤니티에서 표절 사례를 발견한 경우 info-contact@alibabacloud.com 으로 관련 증거를 첨부하여 이메일을 보내주시기 바랍니다. 당사 직원이 영업일 기준 5일 내에 연락 드리도록 하겠습니다.

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.