삭제 코드 Hadoop에 대 한 데이터 복구 대역폭을 저장

7 저자와 페이스 북과 남부 캘리포니아 대학에서 공동으로 완료 종이 "XORing 코끼리: 소설 삭제 코드 큰 데이터에 대 한." 저자 개발 삭제 코드 가족-로컬 복구 코드 (즉, 로컬 복사본 저장소 기반으로 XOR LRC 칭함의 새로운 회원. 데이터를 복구 하는 때 크게 I/O 및 네트워크 트래픽을 줄일 수 있습니다. 그들은 Hdfs-xorbas 라는 새로운 Hadoop 구성 요소에이 코드를 적용 하 고 아마존 AWS와 페이스 북에서 그들을 테스트.

LRC 리드 솔로몬 코드에서.

약 10 년 전, 업계 리드 솔로몬 코드를 사용 하 여 기존의 RAID5 또는 RAID6 대체 데이터의 두 개 또는 3 개의 복사본을 배포를 시작 했다. 이 방법은 비싼 스토리지 어레이 대체 하는 저렴 한 디스크 때문에 매우 경제적입니다. 리드 솔로몬 코드와 XOR는 삭제 코드의 모든 지점. 있는, XOR만 허용, 데이터의 손실 및 리드 솔로몬 코드 여러 데이터의 손실을 허용할 수 있는.

하지만 표준 리드 솔로몬 코드 하이퍼 질량 Hadoop 부하를 매우 잘 해결 되지 않습니다. 데이터의 높은 비용 때문에 시간 및 비용 (주로 대 한 I/O와 네트워크 트래픽)을 복구 합니다. 잠시 동안, 동시에 수 수준 성장 수치 초과 인터넷 회사의 인프라 기능. 3 개의 복제본 때로는 높은 신뢰성 요구 사항 맞지 않습니다.

이제, 이러한 인터넷 거 인 스토리지 시스템 표준을 디자인 하는: 4 개의 저장소 개체가 (이 개체는 디스크, 서버, 노드, 그리고 심지어는 전체 데이터 센터) 동시에 실패 하는 경우에 (현재 리드 솔로몬 부호는 정책을 사용 하 여 (10,4), 모든 데이터를 잃을 수 없습니다 즉, 데이터의 10 블록 4 조각의 데이터의 손실을 허용할 수 있는 4 체크섬 파일을 생성 합니다. ) 。 이 종이에서 페이스 북만 60 %I/O 및 네트워크 트래픽을 리드 솔로몬 코드 기준으로 필요로 하는 삭제 코드 메서드를 사용 합니다.

저자는 45PB 데이터 페이스 북 Hadoop 클러스터에서 3000 노드 분석. 이러한 데이터는 그림 1에서 보듯이 하루, 하루, 때로는 100 오류 22 노드의 평균이 있다.

그림 1: 일 노드 실패 차트

Hadoop 클러스터의 네트워크는 종종 수 동적으로 점유 하는, 그리고 여러 활성 디스크 1 Gb의 대역폭을 차지할 수 있습니다 실패 데이터를 복구 하 여 발생 하는 혼잡을 무시할 수는 없습니다. 이상적인 스토리지 솔루션은 데이터를 복구 하는 데 필요한 트래픽의 양을 줄이기 위해 뿐만 아니라 스토리지 효율성을 보장 하기 위해 뿐만 아니라.

주요 지표의 LRC 테스트 결과:

표 1:LRC 리드 솔로몬 코드와 전통적인 Hadoop 3 복사 전략 대조. LRC는 최대 2 개의 크기 순서 리드 솔로몬 코드 보다 고 절반으로 흐름을 복구 합니다.

그림 2:LRC 및 다중 노드, 다중 블록 오류의 경우 리드 솔로몬 코드, 데이터 볼륨, 네트워크 트래픽 및 수리 시간 비교, 리드 솔로몬 코드 보다 절반 리소스 저장 기본적으로 LRC HDFs 읽기.

HDFS-3544를 포함 하 여 업계는 지속적으로 추구 하 고 매우 안정적인 접근 네트워크 대역폭 절감, 인터넷 거 인 및 클라우드 컴퓨팅 인프라 공급자에 대 한 자명은. 남부 캘리포니아 대학, Wayne 주립 대학 및 Microsoft에 의해 가입 되어있습니다, 간단한 다시 만드는 중 코드 또한이 방향에서 일하고 있다. 특히, LRC, HDFS-3544, 및 위에서 설명한 간단한 다시 만드는 중 코드는에 따라 모든 데이터를 복구 하는 데 필요한 네트워크 트래픽을 줄이기 위해 로컬 데이터 증가.

ATC2012에 Microsoft Azure 엔지니어 쳉 황와 그의 동료 안 걸리는 코딩 Windows Azure 저장소에 공유. 쳉 황 마이크로소프트 또한 Azure LRC 기술을 사용 했다. 여기 청 황 공유 비디오를 볼 수 있습니다. 또한, 청 황도 참가 "간단한 다시 만드는 중 코드입니다."

집에서 Azure 세기 상호 베이징과 상하이에서 두 개의 데이터 센터에서 서비스 배포. CSDN, 마이크로소프트 클라우드 컴퓨팅 및 서버 부문 제너럴 매니저와의 인터뷰에서 다우 Jiqing 공개:

Windwos Azure에 데이터 경우에 가상 컴퓨터의 로컬 스토리지는 뛰어난 6 복사본에 저장 됩니다. 중국에서 공개적으로 소유 클라우드 컴퓨팅 회사 3 9 같은 Sla, 저지 하고자 하지만 마이크로소프트 약속 3 9 이상.

Hdfs-xorbas, LRC GFS2에 대 한

현재, Hdfs-xorbas 기반으로 페이스 북의 Hadoop (GitHub 포털, 아파치 포털)의 hdfs raid 버전와 GitHub에 코드를 관리 되는.

Hdfs-xorbas 프로젝트는 Maheswaran Sathiamoorthy의 남부 캘리포니아 대학의 명나라 시 전자 엔지니어링 부서에서 후보 교수에 의해 유지 됩니다. "몇몇 저자는 종이에 만든 회사," 로빈 해리스, 기사에서 Technoqwan, 컨설팅의 설립자 고 말했다.

Dhruba Borthakur, 종이의 저자 중 하나는 2009 년에 블로그 게시물에서 삭제 코드를 도입 하는 페이스 북 엔지니어:

난 삭제 코드를 사용 하 여 아이디어는 Diskreduce, 카네기 멜론 대학에서 사람들의 무리에서에서 온다. 그래서 내가 이런이 생각 하 고이 기능 HDFS 503 Apache Hadoop을 추가한.

Dhruba 강조 HDFS 삭제 코드는 HDFS에만 HDFS 내부 코드를 수정 하지는 않습니다. 이것에 대 한 이유는 HDFs 코드 이미 매우 복잡 하 고 곤경이 더 복잡 하 게 하 고 싶지 않습니다.

Dhruba는 또한 Hadoop 서밋 2012에서 HDFS 세미나에서 페이스 북에서 Hdfs-raid의 내부 작업에 대 한 이야기. 회담, 데이터 엔지니어, 자신의 블로그에 Dhruba의 전망을 공유:

HDFs에 저장 된 데이터를 두 가지로 나누어: 열 데이터 및 차가운 데이터. 열 데이터는 일반적으로에 저장 3 백업 데이터는 자주 사용 하 고, 여러 백업을 효율적 중복성 이외 부하가 있을 수 있습니다. 차가운 데이터에 대 한는 HDFs에 3 복사본을 유지에 필수적 이다. 각 예약된 2 부 XOR 유효성 검사 데이터 블록, 데이터 a/b/c의 원래 블록에 의해 생성 된 데이터 a/b/c, 너무 추 워 블록에 대 한 소개 하는 Dhruba 두 다른 raid 시나리오, 체크섬 데이터 블록 또한 복사본 두 개가 있다. 이 방법에서는, 복제 계수 2.6 (이론 값) 3에서 감소 된다.

매우 추운 데이터에 대 한 프로그램은 더 과격 한, 10 블록 리드를 통해 데이터를 하나만 하 고의 원래 블록 4 체크섬 파일을 생성 하는 코드를 솔로몬 확인 데이터 블록은 2 부. 이 방법에서는, 복사 계수 1.2를 삭제합니다.

양 주식 분산 RAID 파일 시스템 구현 원리의 Dhruba 도입, 2009 년에서 Dhruba 블로그 도입,이 확인할 수 있습니다 별도로.

물론, Hadoop은 GFS, 그냥 오픈 소스 구현을 어떻게 Google 데이터 복구의 높은 비용을 해결 합니까? Google GFS2에 (거상) 리드 솔로몬 부호를 사용 하 여 복사할. Google에서 지난해 "스 패너: google의 세계적으로 분산 데이터베이스"를 출판 (csdn 선택한 통로 버전) 공개:

리드 솔로몬 코드는 1.5 복사본에 원래 3 복사본을 줄일, 쓰기 성능을 향상 고 대기 시간을 줄일 수 있습니다.

하지만 구글 GFS2에 대 한 매우 제한 된 정보를 공개 했다. 앤드류 Fikes, 구글의 수석 엔지니어, 구글 스토리지 아키텍처 도전 서밋 2010 교직원 회의에서 공유 하 고 왜 Google 사용 리드 솔로몬 코드를 다음과 같은 이유를 인용 하는 것에 대 한 이야기: