클라우드 기반 대규모 데이터 스키마를 선택 하는 방법

클라우드 컴퓨팅 및 대형 데이터는 지금 뜨거운 주제, 그리고 함께 구름에 큰 데이터 프로젝트를 달성 하기 위해 두 가지를 결합 하는 방법을 새로운 연습 지역. 수석 데이터 전문가 데이비드 길 맨, 그 자신의 경험에 따라 데이터의 모니터링 및 실시간 경고 사용자를 위해 더 나은 평가 하 고 솔루션을 선택 제공 데이터, 무료 모드 검색 및 분석, 실시간 색인을 포함 하 여 구름의 대형 데이터 시나리오에서 고려해 야 할 기본 요소를 나열 합니다.

그것에 올 때 구름에 큰 데이터 프로젝트를 구현, 데이비드 세 실시간 요소, 실시간 연동, 실시간 데이터와 실시간 모니터링을 강조 표시 합니다. 특히, 실시간 인덱스 모든 컴퓨터 데이터에 대 한 일반적인 실시간 색인의 창조를 말합니다.

이것은 대부분의 사람들은 오픈 소스 프로젝트 Hadoop에 종종 큰 데이터는 생각의 핵심 이다. 회사 무선 주파수 ID (RFID) 모바일, 웹 클릭, 및 기타 잠재적으로 구조화 된 데이터의 요청에 의해 압도 수 있습니다. 당신이이 데이터를 사용 하는 방법과 쿼리 미래에 액세스 하는 방법을 안다면, 해당 데이터의 처리에 투자 하는 가치입니다.

Hadoop은 데이터의 잠재적인 미래 용도 모른 채 한 솔루션을 제공 합니다. 들어오는 데이터를 얻어서, 대용량 데이터 분석을 실행 하는 데이터 정의 단계를 연기 합니다. 데이터의 미래 사용을 제하지 없이 Hadoop 여러 서버에 걸쳐 데이터를 분배 하 고 데이터 위치의 추적.

실시간 데이터 참조 "무료 검색 및 리얼타임 및 히스토리 데이터의 분석", 그리고 데이터 저장만의 일부인 목표 달성에로. 반면에 정보는 비교적 쉽게 찾을 수 해야 합니다. 이 위해이 빠른 방법은 (구현, 응답 시간이 아니라)에서 빠른 검색 기능을 제공 하입니다. 따라서, 구조화 되지 않은 데이터의 텍스트 검색을 지 원하는 도구를 찾을 해야 합니다. 감시에서 직접 응답을 점점 막연 하 게 모든 정보가 올바르게 저장 됩니다 명확 하 고 액세스할 수 만들 수 있습니다. 이 프로세스의 관리 단계 분산 노드에 저장 된 데이터의 콘텐츠입니다. 쿼리, 검색 하 고에 더 빠른 응답을 제공 하는 병렬에서 분산된 노드 인덱스 액세스.

실시간 모니터링 "데이터 모니터링 및 실시간 경고 제공"을 참조 합니다.

큰 데이터에는 데이터를 모니터링 하는 도구를 찾고 있습니다. 일부 도구는 충족 되어야 하는 조건을 찾고, 처리 되는 쿼리를 만들 수 있습니다. 나는 Hadoop을 입력 데이터의 실시간 모니터링을 위한 모든 가능한 사용 목록 수 없습니다. 대부분의 들어오는 데이터는 구조화 된 관계형 데이터베이스에 적용 되지 않습니다을 실시간 모니터링 데이터 요소를 검사 하는 가장 주의 깊은 방법 중 하나 있을 수 있습니다.

3 "실시간으로", 뿐만 아니라 Daivid는 또한으로 요약 될 수 있다 다른 7 포인트 나열:

데이터에서 유효한 정보의 자동 검색

수동 검색 및 수동 보고 수행 분석 효율에 영향을 또한 수 있습니다. 데이터 마이닝 및 예측 분석 도구는 데이터 사용 하 여 큰 데이터베이스로 데이터베이스 또는 데이터 원본, 분석 하기 위한 변화의 연속 모니터링 하는 기능을 빠르게 움직이고 있다. 모든 데이터 마이닝 도구는이 목표를 따릅니다. 누군가가 분석의 목적을 식별 데이터를 조사 하 고 통찰력 또는 예측을 제공 하는 통계 모델을 개발 한다. 이러한 통계 모델 지속적인 평가 수행 하는 큰 데이터 환경에 배포 될 필요가 있다. 작업의이 부분을 자동화 한다.

강한, 특정 보고 및 분석 제공

마찬가지로 지식 발견 및 자동화 된 데이터 마이닝 분석가 검색 하 고 요약 하는 대용량 데이터 클라우드 환경에서 정보에 액세스 해야 합니다. 큰 데이터 보고 도구 공급 업체는 매일 성장 하 고 같다. 대형 클라우드 기반 데이터 공급자 외부 요청자에서 돼지와 HQL 문을 지원 해야 합니다. 이 방법에서는, 사람들이 그들의 선택 (심지어 도구를 아직 만들지 않은)의 도구를 사용 하 여 큰 데이터 저장소를 쿼리할 수 있습니다.

사용자 정의 대시보드 및 조회를 신속 하 게 구축 하는 기능을 제공 합니다.

전통적인 비즈니스 인텔리전스 프로젝트의 진화 처럼 사람들이 큰 데이터를 쿼리할 수 및 보고서를 생성 하는 때 그들이 원하는 기능을 자동화 하 고 아름 다운 그림을 반복 하는 대시보드를 만듭니다. 사람들이 자신의 꿀벌 통 문을 작성 하 고 하이브 껍질만을 사용 하 여, 대부분의 도구 처럼 쿼리 문을 사용 하 여 대시보드 보기를 만들 수가 있다. 그것은 너무 일러 큰 데이터 배포에 많은 대시보드 예를 열거입니다. 비즈니스 인텔리 전스의 역사를 기반으로 한 예측은 대시보드 큰 집계 된 데이터에 대 한 중요 한 내부 전달 도구가 될 것입니다. 그리고 비즈니스 인텔리 전스의 역사적인 발달에서 좋은 큰 데이터 대시보드를 데 고 최고 리더십 지원을 유지에 필수적.

효율적인 데이터의 금액을 지원 하기 위해 일반 하드웨어 스케일링

클라우드-다양 한 데이터 서비스를 사용 하 여이 작은 실용적인 의미가 있다. 그것은 조달, 장비, 및 데이터를 저장 하는 데 사용 하는 하드웨어를 배포 하는 서비스 공급자의 책임입니다. 하드웨어의 선택 하는 것이 쉬워야 한다. 그러나, 다행히, 법안 큰 데이터 일반 하드웨어와 함께 사용 하기 위해 적합 하다는 보여준다. "높은 품질" 서버 스키마의 일부 노드가에 유용합니다. 그러나, 대부분의 큰 데이터 아키텍처 (데이터를 저장 하는 노드) 노드 "낮은-품질" 하드웨어에 배치할 수 있습니다.

세분화 된 역할 기반 보안을 제공 합니다 및 액세스 제어

때 구조화 되지 않은 데이터는 관계형 데이터에는, 복잡 한 데이터 액세스 데이터 획득에서 사람들을 방지할 수 있습니다. 일반적인 보고 도구는 작동 하지 않습니다. 큰 데이터를 사용 하 여 고려 복잡 한 액세스를 단순화 하는 효과적인 단계입니다. 불행 하 게도, 같은 보안 설정은 자주 마이그레이션되지 않습니다 기존 관계형 시스템에서 대용량 데이터 시스템. 더 큰 데이터를 사용 하면 더 중요 한 좋은 보안 된다. 처음에, 보안 아무도 대용량 데이터를 처리 하는 방법을 알고 있기 때문에 최소한의 수 있습니다. 회사는 대용량 데이터를 사용 하 여 더 많은 분석 개발, 결과 (특히 보고서 및 대시보드) 보호, 유사한 현재 관계형 시스템에서 보고서를 보호 하는 것 필요가. 보안을 적용 해야 할 때 큰 클라우드 기반 데이터를 사용 하 여 시작 합니다.

멀티 테 넌 트 및 유연한 배포에 대 한 지원

클라우드를 사용 하 여 다중 소유 개념을 제공 하지만 그것은 명확 하 게 내부 대용량 데이터 환경에서 고려. 많은 사람들은 구름에 중요 한 데이터를 퍼 팅에 대 한 쉽지 않다. 중요 한 것은, 구름 낮은 비용과 빠른 배포를 시작 큰 데이터 프로젝트를 구현 하는 데 필요한을 제공 합니다. 클라우드 공급자는 공유 하드웨어 자원 가진 아키텍처에서 데이터를 두고 있기 때문에, 비용이 상당히 절감 됩니다. 하나님은 공정. 귀하의 서버에 데이터를 넣어 그리고 그것은 모두 잘 설치를 관리 하기 위해 다른 사람입니다. 그러나 때 큰 데이터 요구 사항은 간헐적, 이건 비용 효율적인 비즈니스 모델입니다. 결과 더 높은 회사 분석가 탐험, 생각, 및 큰 데이터를 이해 하는 경우 첫 번째 프로젝트 중 특히 자유 시간을 많이 지불할 것 이다 때문에 있을 것입니다.

통합 Api 및 그들을 확장

큰 데이터는 사용자 지정 응용 프로그램 액세스를 위해 설계 되었습니다. 일반적인 액세스 방법 평안한 응용 프로그램 프로그래밍 인터페이스 (API)를 사용합니다. 이러한 Api는 각 응용 프로그램 관리 제어에 대 한 큰 데이터 환경, 데이터, 및 보고 데이터의 저장에 사용할 수 있습니다. 큰 데이터의 모든 기본 구성 요소는 오픈 소스, 이러한 Api는 완벽 하 게 설명 하 고 널리 사용. 적절 한 보안으로 모든 현재와 미래의 Api에 액세스할 수 있도록 대형 클라우드 기반 데이터 공급자를 기대 합니다.

Trikon 열정적인 기술 탐색기, 수석 소프트웨어 엔지니어, INFOQ 편집기, 엔터프라이즈 수준의 웹 응용 프로그램에 종사 관련 작업, 성능 최적화, 웹 기술, 브라우저에 초점 및 다른 분야.

(책임 편집기: 유산의 좋은)