Http://www.aliyun.com/zixun/aggregation/14417.html "> 아파치 하 둡은 널리 사용 되는 데이터 분석 플랫폼을 신뢰할 수 있는 효율적이 고 확장성. Percona 회사의 알렉산더 루빈 최근 어떻게 그 Hadoop을 MySQL에서 테이블을 내보낼 Cloudera 임 팔 라에 데이터를 로드 하 고 보고서 실행을 설명 하는 블로그 게시물을 출판. 이 예에서 테스트 알렉산더 루빈의, 그가 사용 하는 클러스터 6 데이터 노드가 포함 됩니다. 다음은 특정 사양입니다.
데이터 내보내기 거기 Hadoop을 MySQL에서 데이터를 내보내려면 여러 가지가 있습니다. 루빈의이 예제에서 그는 단순히 OnTime 테이블 텍스트 파일로 내보냅니다: 선택 * 그런 '/TMP/ONTIME.PSV'으로
필드 종료 ','
OnTime;에서 사용할 수 있는 "|" 또는 다른 기호를 구분 기호로입니다. 물론, 다음과 같은 간단한 스크립트를 사용 하 여 www.transtats.bts.gov에서 직접 데이터를 다운로드할 수 있습니다.
Hadoop의 HDFS를 로드
루빈 먼저 파일의 집합으로는 HDFs에 데이터를 로드합니다. 하이브 또는 임 팔 라를 사용 합니다 디렉터리 해당 디렉터리의 모든 파일을 연결 하는 데이터를 가져올 하는 곳. 루빈 예제에서 그 는/데이터/ontime/디렉터리에 HDFs, 만들고 디렉터리에 로컬 일치 on_time_on_time_performance_*.csv 스키마에서 모든 파일을 복사.
임 팔 라에 외부 테이블을 만들려면
모든 데이터 파일을 로드 한 외부 테이블을 만들 해야 합니다.
Start building with 50+ products and up to 12 months usage for Elastic Compute Service
1 on 1 presale consultation
24/7 Technical Support 6 Free Tickets per Quarter Faster Response
Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.
A comprehensive suite of global cloud computing services to power your business
Payment Methods We Support
