클라우드 데이터 웨어하우스 데이터 마이그레이션 문제를 극복 하는 방법?

클라우드 컴퓨팅 하 고 데이터 웨어하우징 합리적인 몇 가지. 주문형 클라우드 스토리지를 확장할 수 있습니다 그리고 구름 많은 수의 서버 특정 작업에 기여할 수 있다. 데이터 웨어하우스의 일반적인 함수는 로컬 데이터 분석 도구, 계산 및 저장소 리소스에 의해 제한 하 고 새 데이터 소스 통합을 고려 하는 디자이너의 능력에 의해 제한 됩니다. 만약 우리가 데이터 마이그레이션의 도전을 극복할 수, 이동 하 여 데이터 웨어하우스 및 데이터 분석 도구는 데이터 센터에 전용된 서버에서 클라우드 기반 파일 시스템 및 데이터베이스 문제를 해결할 수 있습니다.

클라우드 데이터 관리는 일반적으로 로드 같은 Hadoop 분산 파일 시스템 (HDFS), 분산 파일 시스템에서 파일을 유지 하 고 다음 MapReduce와 같은 도구를 사용 하 여 데이터 처리를 포함 한다. 데이터 웨어하우스 및 분석 다른 문자에 대 한 데이터베이스 도구 하이브 같은 분산된 파일 시스템 위에 같은 기능을 제공합니다.

전통적인 관계형 데이터베이스 관리 시스템 및 구름 비 관계형 데이터베이스는 동시에 기술 될 수 있다 하지만 두 조각 사이의 데이터 전송 하는 경우, 다른 작동 모드 문제를 일으킬 수 있습니다. 추출, 변환 및 로드 프로세스에 더 많은 문제를 만들 수도 있습니다.

데이터 마이그레이션 도구를 클라우드로 마이그레이션 지원

데이터베이스에서 데이터를 추출 하기 쉽습니다 그리고 그것은 효율적으로 데이터베이스에서 데이터의 큰 볼륨을 광산에 대 한 도전. 데이터 웨어하우스 성능 또는 데이터 볼륨의 증가로 인해 스토리지 문제 발생, 그것은 운송 리소스를 사용 하 여 고려해 야 할 시간이 있을 수 있습니다. 다음 도구는 클라우드 파일 시스템 및 데이터베이스를 관계형 데이터베이스에서 데이터 로드에 도움을 사용할 수 있습니다.

Sqoop (sql hadoop) 등 전문 도구, 관계형 데이터베이스에서 데이터를 추출 하 고 HDFs 또는 하이브를 복사 코드를 생성 합니다. Sqoop은 JDBC 드라이버를 사용 하 여 여러 종류의 관계형 데이터베이스, 하지만 많은 양의 성능 비용에 JDBC 결과 데이터의 소개와 함께 작동 하도록.

클라우드로 마이그레이션하려면, 관계형 데이터베이스에서 데이터를 추출할 때 데이터를 변환할 할 수 있습니다. 작업 하는 모든 데이터는 단일 데이터베이스에서 인 경우에 원본 데이터베이스에 변환할 수 있습니다. 경우 두 개의 별도 시스템에서 데이터를 병합, 추출 후 데이터 원본에 전송 하도록 더 효율적입니다. 그러나, 당신은 해야한다이 최종 데이터 저장소에 데이터를 로드 하기 전에. 연계 데이터 처리 API는이 작업에 지원할 수 있습니다.

계단식 워크플로 처리, 예약 및 일정 등 Hadoop, 위에 실행 하는 기능을 제공 합니다. 예를 들어 파이프 필터와 함께 작동 하며 하나의 소스에서 대상으로 데이터 응용 프로그램 필터는 파이프 데이터 스트림 그룹 같은 다른 기능을 적용할 수 있습니다. 계단식 자바에서 구현 되 고 MapReduce 작업에서 변환 API를 호출 합니다.

만약 당신이 MySQL, MySQL 덤프 기능을 사용 하 여 JDBC를 무시 하 고 데이터를 보다 효율적으로 추출 하 sqoop 마음으로 최선을 다하고 있습니다. Sqoop 로드 데이터를 조작 하 고 그것은 직접 가져오는 하이브를 사용할 수 있는 자바 클래스를 생성할 수도 있습니다. Hiho (입력 및 출력에 Hadoop) 관계형 테이블에서 데이터를 추출 하 고가 무 겁 고 병합 입력된 스트림 같은 몇 가지 기본적인 변환 서비스를 제공 합니다.

메이크파일의 필요한 경우 변환 하기 전에 그것을 최소화 하기 위해 HDFs 파일 시스템 또는 하이브 데이터 웨어하우스 로드, 직접 파일을 로드할 수 있습니다. 대상 테이블 및 분할 사양 결정, 후 하이브 데이터를 로드 하는 명령이 있다. 돼지는 mapreduce 자바에서 코딩에 비교 될 때 특히 데이터 분석 프로그램에 대 한 높은 수준의 언어입니다. 과 수학 및 문자열 처리 (최소, 최대, 개수)와 같은 관계형 데이터베이스에서 찾을 수 있는 기본 통계 기능을 제공 합니다. 돼지 두 구조화 및 구조화 되지 않은 텍스트 파일의 압축을 지원합니다.

클라우드 컴퓨팅 리소스 데이터 웨어하우스 인프라를 보완. 그러나, 데이터 웨어하우스는 클라우드로 전송의 혜택을 최대화 하려면 제대로 데이터를 구성 하 고 올바른 데이터 분석 도구를 사용 하 여 중요 하다.

TechTarget 중국 원본 콘텐츠, 원본 링크: http://www.searchcloudcomputing.com.cn/showcontent_58751.htm

(책임 편집기: 루 광)