Red Hat의 큰 데이터: gluster 만능 해석

Red Hat http://www.aliyun.com/zixun/aggregation/17539.html "> 회사 Gluster의 인수를 발표 했다. 후자는 널리 우려 Gluster 스토리지 플랫폼 소프트웨어 스택 Glusterfs 오픈 소스 파일 시스템의 개발자. 이 방법에서는, Red Hat 만들었습니다 자체 한-그만 게로 Apache Hadoop 처럼 큰 데이터 솔루션을 찾는 고객에 대 한. 하지만 그것 또한 엄청난 잠재력이 클라우드 기반 배포에 대 한 파일 시스템을 구입. 만약 당신이 Gluster, 세부 사항에 있는이 기사를 읽고 들어 본 회사의 확장 된 네트워크 연결 스토리지 영역에서 밖으로 서 어떻게 배울.

Gluster 회사 프로 파일

Glusterfs는 회사의 자신의 단어에는 "확장 가능한 오픈 소스 클러스터는 글로벌 네임 스페이스를 제공 하는 파일 시스템 프런트 엔드, 분산 및 최대 수백 PB 레벨의 확장성." "그건 작은 톤, 하지만 큰 문제는 진짜 큰 문제 해결을 위한 Glusterfs 않습니다 걸릴 책임," 고 말했다. 사실, Gluster의 최대 용량은 brontobyte (예, 단어 현실이 되고있다, 100 십억 바이트에 해당).

아마도 가장 중요 한 세부 정보 그 glusterfs는 가장 받을만한 즉각적인 통찰력은 그것은 완전히 다른 큰 데이터 영역 처리에 사용 하는 요소에의 지 하지 않고 네트워크 연결 저장소의 대규모 확장 구현: 메타 데이터. 메타 데이터는 분산된 파일 시스템에 지정 된 파일 또는 덩어리의 위치를 설명 하는 데 사용 됩니다 그리고 그것은 또한 네트워크 연결 저장소 솔루션에 대 한 규모에 치명적인 약점.

Hadoop의 로컬 HDFs 등 어떤 경우에 메타 데이터 실패에 주요 범죄자 이다. 다른 경우에, 그것은 또한 선형 성능 확장성을 장애 모든 노드는 확장 하 고 전체 클러스터의 메타-서버 (또는 서버 그룹) 연락 해야 하기 때문에 이 방법은 거의 확실 추가 대기 시간 귀 착될 고 응답 메타 데이터 요청을 기다리는 과정에서 유휴 저장소 하드웨어를 확인.

Gluster 자체 탄성 해시 알고리즘을 사용 하 여이 문제를 해결 합니다. 이 알고리즘으로 Gluster 클러스터의 각 노드에 메타 데이터 추적 및 변경에 대 한 필요성을 제거 하는-는 클러스터 내의 다른 노드를 기본적으로 접촉 하지 않고 특정 파일의 위치를 계산할 수 있습니다. 그것은 진정으로 선형 성능에 확장성을 자신의 약속을 달성 하기 위해 그것을 가능 하 게 Glusterfs 경쟁에 가장자리를 준다이 패키지.

백 엔드 배포

Glusterfs 어떤 브랜드 Liniux 시스템 (주로 Rhel 이나 CentOS)에 배포할 수 있는 사용자 공간 파일 시스템 드라이버의 집합입니다. 그래서 그것은 매우 휴대 하기 쉬운 즉, Glusterfs의 작업은 하드웨어의 완전히 독립적입니다. 조립식 또는 개인 클라우드 인스턴스 Glusterfs JBOD (즉 간단한 디스크 번들), DAS (즉, 데이터 수집 시스템) 또는 산 등 상용 서버 하드웨어 위에 만들 수 저장-최종 사용자의 선택에 따라. 공용 클라우드 환경에서 Glusterfs 설치할 수 있습니다, 기존 제품에 직접 제공 하는 더 나은 확장성과 효율성 (현재 아마존과 Rightscale 기업 유사한 제품을 제공 하 고 있습니다). 또한, 증가 한 가상 장치에 배포 될 때 Gluster 노드 작동할 하이퍼바이저 위에-조립식 여부 또는 구름에서.

어떻게 glusterfs 노드 클러스터에 데이터를 저장, 따라 Gluster 다른 성능 및 가용성 특성으로 여러 가지 방법으로 배포할 수 있습니다. 기본적으로 시뮬레이션 파일 수준 배포판 RAID0 배급의 간단한 형식입니다. 이 유형에서는, 파일은 단일 노드의 실패 데이터 손실 될 수 있습니다 그래서 Gluster 노드 하나에 저장 됩니다. 글쎄, 그건 아무것도 대해 놀라지. 낮은 보안은 최고 수준의 성능과 가장 효율적인 스토리지 호출 상태 파일 백업 전체 프로세스에 관여 하지는 때문에.

노드 장애 시 데이터 보안을 필요로 하는 응용 프로그램에 대 한 Gluster 분산된 복제 패턴은 기본적으로 raid 10 비슷합니다 이러한 요구 사항을 만족 합니다. 이 모드에서 파일은 항상 동기화 상태에서 미러 노드 쌍에 배포 됩니다. 고장 시 미러 노드는 파일의 가용성을 영향을 받는 시간에 보충 된다.

마지막으로, Gluster 또한 세그먼트 모드, 표준 블록 레이어 RAID0 실행에 매우 가깝습니다 패턴을 지원 합니다. 패턴은 일반적으로 적당 한 큰 파일 (일반적으로 이상 50 기가바이트) 저장소에 대 한 여러 노드에 대 한 높은 성능 요구 하는 것이 좋습니다. 이것은 단 하나 하나의 패턴을 적는 파일을 분할 하 고 여러 노드-모든 분산 하 여 다른 스키마 파일 수준 에서만 작동. 불행히도, 그래서 매우 높은 가용성을 달성 하기 위해 세그먼트 모드와 결합 하지 않는 미러링, 하드웨어 배포와이 시나리오를 통합 해야 합니다.

우리 같은 gluster 클러스터에 여러 개의 저장소 모드를 사용할 수 없습니다, 비록 우리가 아직도 하드웨어 장치의 동일한 집합에 여러 논리 클러스터를 실행할 수 있습니다. 결과적으로, 실행할 수 있습니다 실제로 분산된 백업 클러스터 및 클러스터 세그먼트를 별도 물리적 하드웨어에.

분산된 백업 시스템 Gluster 클러스터 내에서 구현할 수 있도록, 뿐만 아니라 그것은 또한 다른 클러스터 간의 지리적 백업을 여러 줄 수 있습니다. 이 시나리오는 사이트의 전반적인 실패를 보호 하기 위해 또는 쉽게 하나의 사이트에서 다른 마이그레이션할 응용 프로그램을 사용할 수 있습니다. Gluster 지리적 백업 (예: C와 D B에서 b, A)에서 중간 복제본의 수를 포함 하는 패턴을 복제할 수 있도록 유연 하 고, 이다.

실제 사이트 전체 Gluster 클러스터의 확장은 또한, 하지만 그것은 만족 스러운 성능을 보장 하기 위해 분산된 클러스터에서 복제, 큰 WAN 대역폭 및 짧은 대기 시간에 대 한 높은 요구는 주목 한다. 실제로, 개별 gluster 사이트 또는 메트로 폴 리 탄 지역 네트워크의 제한에 의해 영향을 받을 가능성이 있다.

(책임 편집기: 유산의 좋은)