NoSQL hbase 관계형 MySQL에서 마이그레이션 연습

11 월 2013 22-23, Hadoop 기술 및 응용 프로그램, 공유 전용된만 대규모 산업 이벤트로는 2013 Hadoop 중국 기술 서밋 (중국 Hadoop 정상 2013)에서 개최 되었다 4 포인트 쉐라톤 베이징 호텔 그룹에 의해. 다양 한 http://www.aliyun.com/zixun/aggregation/17611.html에서 천 근처 Cio, CTO, 건축가, IT 관리자, 컨설턴트, 엔지니어, 그리고 Hadoop 매니아 "> 산업 분야" 그것은 공급 업체와 기술자 Hadoop 연구 및 홍보에 포함 될 것 이다.

Sql과 nosql 특별, 기장 Liu Shaohui에서 수석 엔지니어 "관계형 MySQL에 NoSQL hbase 마이그레이션 연습"에서 연설을 했다. HBase, 뿐만 아니라 기장, 기장 개발의 중요 한 특성 및 미래 개발 계획에서 hbase 자세히 소개 된다.

첫째, HBase의 소개에 Liu Shaohui, 그는 말했다, 작년의 연구부터 기장와 테스트, HBase, 쌀 채팅 메시지의 전체 스토리지를 포함 하 여 10 개 이상의 비즈니스 액세스, micloud SMS 호출 레코드 동기화, 기장 푸시 서비스, 뿐만 아니라 일부 오프 라인 데이터 분석 사업.

Liu Shaohui 전형적인 hbase 클러스터 3 ~ 5 제어 노드, 5 n 데이터 노드에 포함 되어 있습니다. 제어 노드 및 디스크에 데이터 노드 사이의 주요 차이점 제어 노드는 디스크에 대 한 용량 요구는 매우 높은, 주로 안정 디스크를 필요 합니다.

▲ 전형적인 hbase 클러스터

Liu Shaohui는 도입을 계속, 전체 시스템 자동화 배포 기장 자신의 개발 미 노스 도구, 명령줄 작업에 직접 클러스터를 만들고, 구성 파일을 수정, 업그레이드 클러스터, 클러스터 기능을 삭제를 아주 간단할 수 있다. 동시에 미 노스는 또한 모니터링 기능을 통합합니다. 현재, 도구 기장 내부 사용 버전 GitHub에서 오픈소스 되었으며 오픈 소스 버전은 기본적으로 일치 (Https://github.com/xiaomi/Minos).

모범 사례 소개, Liu Shaohui 말했다, "우리 hbase 클라이언트 기본 HBase 클라이언트 기초의 층을 캡슐화 합니다." 이것은 주로 4 가지를 달성 하기 위해, 하나는 스레드 안전을 보장 하는, 두 번째는 HBase에 클라이언트 자동으로 성과 지표를 추가할 수 있습니다, 세 번째 테이블에 걸쳐 클러스터 작업에서 사용자는 일관 된, 4 동적 업데이트 클라이언트 구성 할 수 있다. "

몇 가지 중요 한 비즈니스에 대 한 우리 듀얼 마스터 복제를 사용 하 고 기본 대기 클러스터의 자동 스위칭 실현. 클러스터 구성의 간단한 수정, 새로운 읽기 및 쓰기 요청으로 전환 하는 필요를 확인 하는 때 대기 클러스터로 전환 됩니다.

▲ 모범 사례

또한, 이동 지역 스크립트;를 사용 하 여 사용할 수 없는 시간을 줄이기 위해 부드러운 업그레이드 등의 다른 최적화는 전체 GC, 트리거링 낮은 피크에서 전체 GC 매일; 압축, 쓰기의 성능을 향상, 4 shortcircuit 읽기;는 보안, Kerberos 인증.

향후 개발 계획에 대해 얘기 끝에 Liu Shaohui 도입, 우리 테이블 원자성 전체 행에 걸쳐 동기 복제 하 고 싶은, 글로벌 수준 2 인덱스, 뿐만 대로 일부 압축 최적화, 장애 조치 관련 최적화, multi-tenant 일반적인 구름 클러스터 공유 hmaster 리팩토링. 일반적인 지역 사회 개발의 영역에서 Liu Shaohui 계속, 우리는 또한 사회에 다시 hbase 피드백에 참여 것입니다 따라 커뮤니티의 최신 진행, 그리고 커뮤니티 프로그램 설계 및 토론에 적극적으로 참여.