큰 데이터 구세주: 아파치 하 둡, 하이브

아파치 Hadoop MapReduce 많은 수의 대용량 데이터 분석 전문가 및 비즈니스 인텔리전스 전문가 유치. 그러나, Hadoop 분산 파일 시스템, 또는 작성 하거나 자바 언어에서 mapreduce를 실행 하는 능력의 광범위 정말 엄격한 소프트웨어 개발 기술을 요구 한다. 아파치 하이브 유일한 해결책이 될 것입니다.

아파치 소프트웨어 재단 공학 하이브의 데이터베이스 구성 요소, 클라우드 Hadoop 생태계 기반, 하이브 쿼리 문 이라는 컨텍스트 기반 쿼리 문을 제공 한다. 이 문장의 집합 자동으로 SQL 클래스 쿼리 문을 mapreduce 작업 명령으로 변환합니다.

IBM db2, oracle 및 SQL 서버 및 데이터베이스 응용 프로그램 등 관련된 데이터베이스, 비즈니스 인텔리전스 분야에서 주요 힘은. 데이터 분석 전문가의 대부분은 더 포괄적인 SQL 쿼리 문을 기술 마스터 있다. 마찬가지로, 비즈니스 분석가 일반적으로 Excel 양식, 피벗 테이블, 및 아이콘을 사용 하 여 데이터를 요약 하는 능력을 가진다.

엔드-투-엔드 비즈니스 인텔리전스 프로젝트를 Windows Azure 시스템에서 작동 하는 방법을 살펴보겠습니다. 첫째, 많은 양의 데이터를 형성 하 고 Excel 차트 탐색 자격, 미국 항공사의 항공편 도착 데이터를 표시 하는 다음 전체 프로세스를 작성할 수 있는 프로그램 코드를 필요 하지 않습니다.

Windows Azure CTP에 Apache Hadoop 협력

2011 년 11 월 마이크로소프트 SQL 서버 강좌 공유 기술 미리 보기 Windows Azure 시스템 또는 hadooponazure 시스템에서 성형을 발표 했다. 마이크로소프트는이 사용 하 고, Hadoop의 설정을 단순화 하 고 Hadoop Excel의 형태를 분석 하 여 구조화 되지 않은 데이터를 생성 하 여 Windows Azure의 유연성을 얻기 위해 하이브 쿼리를 생성할 수 있습니다 강조 하고있다.

Azure CTP에 Hadoop 누구 에게도 정보를 노출 하지 않습니다. 사용자가 초대를 얻으려면 Microsoft 링크에 간단한 설문지 작성을 해야 합니다. 초대를 받으면 Hadooponazure 웹 사이트를 탐색을 시작 하 고 Windows Live ID 번호를 사용 하 여 로그인. 전역적으로 고유한 DNS 이름을 입력 하 고, 초기 Hadoop 그룹 크기를 선택 하 고 그룹 로그인 이름 및 암호를 입력 한 Get 그룹 아이콘을 클릭. (그림 1 참조)

그림 1 Hadooponazure CTP 초대를 받은 후, 사용자가 몇 가지 간단한 작업만 그룹 수정할 수 있습니다.

처리 그룹 약 15-30 분 걸립니다. 찾아보기 Hadooponazure CTP 리소스는 무료, 하지만 그룹 요구 사항을 사용자가 첫 번째 24 시간 기간의 지난 6 시간 내에 그들의 서명을 업데이트를 요구 하 고 인증서를 사용 하는 동안 매일 업데이트 해야.

사용자가 Windows Azure 서명 및 장기 데이터 저장 모드와 Windows Azure 그룹을 사용 하 여 저장소 계정 필요, 그렇지 않으면 Hadoop 분산 파일 시스템에 저장 된 데이터 손실 됩니다 일단 그룹 종료. 서명, 없이 사용자가 각 사용자 20GB를 제공 하는 무료 3 개월 Windows Azure 계정에 적용할 수 있습니다 스토리지 및 스토리지 및 외부 대역폭의 20 GB의.

큰 데이터 사용의 분야에서 SQL Azure 그룹의 확장

아파치 하이브 프로젝트는 미국 연방 항공국에서 데이터를 추출 하 고 수집 정보 및 지연 시간에 항공편의 도착에 2011 년에서 2012 년 1 월에 5 개월. 6-페이지 텍스트 데이터의 하위 집합 전체 25MB 용량에 500000 행의 정보는 연방 항공국의 파일 열을 포함 되어 있습니다.

사용자 그룹 컨테이너에 포함 하는 폴더에 데이터를 업로드 하 고 하이브 데이터를 검색할 수 있습니다. 내 블로그는 구체적인 Azure 그룹 소스 데이터를 생성 하는 방법에 단계. 그것은 또한 데이터베이스 정보 및 윈도우 라이브 SkyDrive 계정을 사용 하 여 데이터를 다운로드 하는 방법 그리고 마지막으로 마이크로 소프트의 시카고 데이터 센터에서 Windows Azure 그룹에 데이터를 업로드 하는 방법 있다.

그룹 데이터 형성 MapReduce 포털 로그인 페이지 팝업 하 고는 도시 검색 페이지를 표시 하는 페이지 그룹 및 계정 관리 대화 상자가 팝업. (그림 2 참조)

그림 2:hadooponazure MapReduce 대시보드 페이지 및 기능.

Windows Azure 관리 포털에 대 한 초기 로그인 암호를 클립보드에 복사, 관리 그룹을 클릭, 페이지 및 다음 설정 ASV (Azure 저장소)를 클릭 합니다 열고 하이브 데스크톱에 대 한 데이터 스토리지 센터 Windows 저장소 계정을 사용 하 여. 또는, 사용자는 아마존 S3 (스토리지 서비스 권장) 또는 Windows Azure 데이터 센터, 데이터 시장 하이브 바탕 화면에서 데이터를 저장할 수 있습니다.
저장소 계정 입력, 초기 암호 값, 설정 저장을 클릭 하 고 암호 상자에 하이브 수 성공적으로 데이터베이스에 로그온 합니다. 인증서가 인증 하는 경우 사용자는 Azure 계정 설정 성공 SMS 알림을 받게 됩니다.

HDFs, 달리 하이브 테이블에서 간단한 키 값 데이터를 그래픽으로 표시할 수 필요 합니다.

HDFs 파일을 변환 하려면 외부 파일, 하이브 차트에 별도 데이터 열 이름, 데이터 형식, 만들기 외부 테이블을 실행 하 고 보면 인스턴스를 사용자의 요구를 정의. 여객 항공기 정보를 보여 주며 하이브 문을 사용 하 여 Fightdata 폴더를 만듭니다.

외부 생성 테이블 FLIGHTDATA_ASV (
올해 INT
달 INT
하루 INT
문자열, 캐리어
원본 문자열
Dest 문자열,
Depdelay INT
Arrdelay INT
)
댓글 '연방 항공국에 시간 데이터'
행 형식 구분 필드 '9' 종료
파일로 저장
위치 'Asv://aircarrier/flightdata';

Apachehive는 너무 많은 데이터 형식이 고 소스 데이터 *.csv 해당 정수 숫자 세그먼트 연도, 월 및 일 값과 같은 데이터 유지 보수에 대 한 좋은 그래서 날짜 또는 시간 필드를 지원 하지 않습니다. 출발 및 도착 값 분에 표시 됩니다.

동적 하이브 문을 실행 하려면 MapReduce 동적 대시보드를 클릭 하 고 페이지를 열려면 동적 하이브, 페이지의 상단에는 읽기 전용 텍스트 상자와 하이브 버튼 누르고 성명 표시를 아래 텍스트 상자. (그림 3 참조)

그림 3:hive 차트 옵션 목록 새 차트 제목, 및 열 셀 표시 선택한 차트 필드 이름이 있습니다. 셀에서 선택한 항목을 삽입 하려면 ﹥﹥ 키를 클릭 합니다.

(책임 편집기: 루 광)