클라우드 컴퓨팅 yuntable 이야기 뒤에 있는 비밀

이 이전 기사에서 시리즈, 그리고 당신은 언급 한 세계는 많은 nosql 제품, 그렇다면 왜 이러한 제품, 연구와 개발의 새로운 NoSQL 데이터베이스에 근거 하 여 저자? 때문에 Yunengine의 개발, 업계에서 발견 하는 저자 또한 매우 간결한 건축, 부족 하 고 다양 한 클라우드 컴퓨팅 NoSQL 데이터베이스의 현장에 적응할 수 있는, 그래서 그 시간에 시작 했다 yuntable 개발 작업을 수행. Yuntable의 목표는 모두 포함, bigtable 같은 데이터베이스를 할 수 없습니다 하지만 분산된 키 값 데이터베이스, 클라우드 컴퓨팅 응용 프로그램 yuntable를 사용 하 여 또는 수정, 그들의 자신의 요구에 따라 것입니다의 상위 계층의 소형 버전 그래서 그 yuntable의 클라우드 컴퓨팅, 그리고 매우 사용 하기 쉬운 다양 한 시나리오에 적응할 수 있습니다. Yuntable는 공식적으로 10 월 초에 오픈 소스 되었고 그것의 0.8 버전을 발표, 공식 주소는 http://code.google.com/p/yuntable/. Yuntable를 분석 하 고, 그 디자인을 포함 하 여, 아래에 설명 된 건축물과 다른 클라우드 컴퓨팅 환경에 적응 하는 방법.

Yuntable의 디자인

NoSQL 데이터베이스의 디자인에 관해서, 데이터 모델, 분산된 아키텍처 및 데이터 저장소의 세 가지 측면 있다.

데이터 모델에서 Yuntable 키 값은, 비록 키 값이 데이터 모델은 비교적 간단한 구조, 전통적인 관계형 형식 조금 비슷한 일반적인 해시 테이블, 키 값에 해당 하, 하지만 그것은 매우 빠른 쿼리 속도 제공할 수 있습니다 대용량 데이터 저장 및 높은 동시성 작업, 그리고 기본 키 (키)를 쿼리하고 수정 하는 데이터, 및 기타 작업에 매우 적합 하지만 하지 복잡 한 작업을 지원 하지만이 결함에 대 한 보상을 상위 레벨의 개발을 통해 하실 수 있습니다.

분산된 아키텍처의 맥락에서 Yuntable이이 패턴 구현 및 의미, 간단 하 고 master, 실패의 단일 지점 피하기 위해 잠재력을 했다 비록 전체 클러스터를 관리 하는 단일 마스터 모드를 선택 Yuntable 이후에서 그림자 마스터 메커니즘을 소개 합니다.

데이터 저장소의 영역에서 Yuntable sstable 파일 포맷을 선택 했다. 간단한 기간에서는, sstable 정렬 된 키-값 쌍을 저장 하기 위한 파일 포맷 이며는 변경할 수 없습니다 (불변), 즉, 그것 후만 업데이트, 추가 및 직접 수정할 수 없습니다. 이것은 순차 액세스를 수행 하는 시스템 있도록 보다 랜덤 액세스, 해당 디스크에 좋은. 내부 형식에서 Sstable 파일 인덱스와 데이터 블록의 구성 됩니다. 실제 작업에서 시스템 자주 인덱스는 쿼리의 효율성을 보장 하기 위해 메모리에 로드 합니다.

Yuntable 아키텍처

아키텍처의 관점에서 그것은 나눌 수 있습니다 3 모듈, 지역, 마스터, 및 클라이언트, 그리고이 세 가지 모듈은 독립적이 고 그들의 각각 비즈니스 논리에 대 한 책임.

▲ 그림 1입니다. Yuntable 아키텍처

우선, 마스터 노드 소개, 함수에서 마스터 노드는 상대적으로 "빛" 조정, 유지 하는 것을 주로 담당 테이블과 지역 노드, 실제 데이터 쿼리 및 입력의 해당 관계 지역 노드 및 클라이언트 쪽의 완성, 상호 작용을 통해 마스터 노드를에이 효과적으로 마스터 노드에서 부담 하 고 수백 대의 서버에 하나 이상의 클러스터를 지원 하기 위해 그것을 사용 수 있습니다. 예를 들어 클라이언트 사이드 테이블을 처리 하는 경우, 그것은 단순히 묻습니다 마스터 영역 노드의 주소와 관련 된 대 한이 테이블은 처음으로 처리, 그리고 때 그것은이 테이블에 다시 처리 됩니다. 클라이언트 쪽 마스터 노드와 통신할 필요가 없습니다 하지만 직접 연결 된 지역 노드 상호 작용.

둘째, 클라이언트 쪽 및 저장 고에서 많은 양의 데이터 관리 요청 처리에 대 한 책임 지역 노드를 얘기 지역 노드는 서버 BigTable 논문에 언급 된 태블릿 매우 비슷합니다. 각 지역 서버 관리 여러 정제, 각 태블릿에 해당 하는 테이블 및이 테이블에 속한 데이터 저장에 대 한 책임은. 여러 정제 관리, 이외 지역 서버 또한 월마트 로그 "미리 쓰기 로그" 라는 태블릿에 Memstore 실수로 닫을 때 데이터 손실을 방지 하려면 그 최신 데이터 업데이트 요청 준비 위해 주로 사용 되는 함께 제공 됩니다. Memstore에 데이터를 쓰기 완료 되 면 월마트는 또한 해당 데이터를 비웁니다. 태블릿 데이터를 저장 하는 데 사용 되는 두 개의 주요 부분으로 구성 됩니다: 하나는 Memstore: 그것은 주로 가장 최근에 추가 된 데이터를 저장, 메모리에 캐시 되는 데이터 파일 및 Memstore에 캐시 된 데이터가 Memstore 저장소 데이터 제한 (플러시) 가까이 때 플러시됩니다 Yfile, 두 번째 yfile, 그것은 주로 데이터 유지 된 파일을 저장 하는 데 사용, 그것은 위에서 언급 한 sstable 포맷에 기반, Yfile만 만들어집니다 때는 memstore 홍 조, 일반적으로 읽고,이 하드 드라이브 순차적 읽기 성능 특성을 사용할 수 있습니다 효과적으로 하려면 그것은에 속한다 태블릿의 디렉터리에 파일의 위치가입니다.

이제 클라이언트 쪽 주로 불린다 "yuncli" 명령줄 데이터 관련 명령을 입력 하는 사용자를 위해 주로 고 마스터 노드 및 지역 노드 상호 작용의 백 엔드 하지만 형태로, 시간의 개발 클라이언트 쪽 JDBC와 같은 드라이버를 있을 수 있습니다.

서로 다른 클라우드 컴퓨팅 환경에 적응 하는 방법

클라우드 컴퓨팅은 두 가지 시나리오의 주요 일반적인 유형: 낮은 지연 시간 및 높은 동시 읽기 및 쓰기 기능, 많은 양의 데이터, 하지만 하지 상하이, TB 수준, 지금 전통적인 OLTP (온라인 트랜잭션 처리), 저장 및 대규모 데이터의 운영에 다소 유사한이 범주에가 RDBMS를 사용 하 여 웹 응용 프로그램의 대부분 추정 필요 PB 수준 등이 예제는 일반적인 데이터 웨어하우스, 구글 대규모 웹 페이지 및 이미지 저장, 전통적인 OLAP (온라인 분석 처리) 조금 비슷합니다.

Yuntable 두 환경에 어떻게 적응 합니까? 첫째, 키 값, 단일 마스터 및 sstable의 고전 및 유니버설 디자인에 충실. 다음으로, 데이터 스토리지 측면에서 조인 섹시 한 레이저가이 메커니즘, 주로 메모리 데이터 블록의 생활 시간에 읽기 쿼리를 완료 하기 전에 결정을 섹시 한 값 세트는, 낮은 지연 상태, 다음 수, 섹시 한 값을 설정 하는 경우 경우에 대규모 데이터 반대.

마지막으로, yuntable 백 엔드 데이터베이스의 Yunengine 작업에 넣어 왔다 고이 릴리스, 성능 및 안정성의 Yuntable의 단일 지점에서의 버전 0.9, 하려고 하는 PAAs 플랫폼의 새로운 세대는 더 높은 수준에 착수 합니다. 또한, 다음 기사는 NoSQL에 관심을 지불 계속 합니다.

저자 소개

이전 여러 클라우드 컴퓨팅 IBM 중국 아카데미에서 제품의 개발에 참가, 우 Zhuhua, 지금 yuntable (http://code.google.com/p/yuntable/) 및 Yunengine (http://에 초점을 맞추고합니다 yunengine.com/) 연구 및 개발, "분석의 클라우드 컴퓨팅" 책을 게시, 제발 앞으로 하려고 하 고.