큰 데이터 응용: 둡

오늘날, 빅 데이터 시대의 주제 되고있다, 기업 큰 데이터 응용 프로그램에는 또한 큰 데이터의 인기와 함께 더 깊이 있는, 많은 큰 데이터 개념 조사, 우선 사람들이 일반적으로 사용할 수 있습니다 단순히 Hadoop, Hadoop 사용 하기 쉬운 생각은 있다.

문제는 Hadoop은 기술, 및 큰 데이터 및 기술 관련 되지 않습니다. 큰 데이터는 http://www.aliyun.com/zixun/aggregation/12445.html와 관련 "> 비즈니스 요구 사항. 사실, 우리의 작업에 적절 한 다른 기술 뿐만 아니라 Hadoop 및 관계형 데이터베이스, 대용량 데이터 포함 해야 합니다.

예를 들어 Hadoop, 데이터 집합의 넓고 탐구 분석 하는 것 이지만 관계형 저장소 더 나은 아직 발견 하지 않은 것의 분석을 실행에. 하 둡은 데이터 집합에서 낮은 수준의 세부를 찾는 좋은 하지만 관계형 데이터베이스는 변환 및 데이터의 요약을 저장 하기 위한 더 많은 의미. 결론은, 그래서 당신이 무엇 필요에 대 한 적절 한 기술을 사용 해야 합니다.

기술 및 방법의 방법에 대 한 Hadoop 결합 하 고 큰 데이터, 데이터 전문가 Anoop 한 번, 일반적으로, 최종 결과, 데이터를 얻기 위해서 하는 처리 하 고 여러 데이터 집합을 추가 하 여 함께 연결 된 다른 문서에서 언급 한을 처리 합니다. Hadoop을 여러 데이터 집합을 추가 하는 많은 방법이 있다. MapReduce 지도 끝 및 감소 끝에 데이터 연결을 제공합니다. 이러한 연결은 중요 하 고 매우 비싼 작업을 수 있습니다. 돼지와 하이브 또한 여러 데이터 집합을 연결에 적용 하는 동일한 기능이 있다. 복제 연결, 결합 연결 및 간접 연결 (괴상 한 조인)를 제공 하는 돼지 고 하이브 지도-측면 연결 및 데이터를 분석 하는 전체 외부 연결을 제공 합니다.

큰 데이터/hadoop의 세계에서 몇 가지 문제가 복잡 하지 않을 수 있습니다 솔루션은 간단 합니다, 하지만 문제는 데이터의 양을. 이 경우에, 다른 솔루션은 문제를 해결 하기 위해 필요 합니다. 일부 분석 작업 순위 사용자와 특정 날짜 범위 내에서 저장된 된 데이터를 변환 하는 로그 파일에서 명확한 Id의 수를 계산 하는. 이러한 작업의 모든 다양 한 도구와 Hadoop MapReduce, 하이브, 돼지, Giraph, 및 Mahout 같은 기술을 통해 해결할 수 있습니다. 이러한 도구는 사용자 지정 루틴의 도움으로 그들의 기능을 확장할 수가 있다.

Hadoop은 프레임 워크, 대용량 데이터 분석 해결 하지 솔루션, 사람들이 실수로 Hadoop 즉시 작업할 수 있지만 간단한 쿼리, 사실 그것은 가능한 믿습니다. 하지만 어려운 분석 문제에 대 한 Hadoop 신속 하 게 실패 맵/리듀스 코드를 직접 개발 해야 합니다. 이러한 이유로, Hadoop은 Java EE 프로그래밍 환경 비즈니스 분석 솔루션 보다 더. "소위 프레임 워크 의미 당신이 개인 및 비즈니스 관련 개발 및, 위에 구현 할 수 있고 이러한 모든 비용을 필요로 한다."

둡 하 고 몇 가지 매우 복잡 한 데이터 분석을 위한 훌륭한 도구입니다. 그러나 아이러니 하 게도,, 그것은 또한 이러한 질문에 답변을 하는 작업을 프로그래밍을 많이 필요. 이것은 데이터 분석의 응용 프로그램에만 하지, 그것은 실제로 선택 균형의 문제를 직면 하는 오픈 소스 프레임 워크의 현재 사용을 반영 한다. 오픈 소스 프레임 워크 또는 코드를 선택 하 고, 생각에 대해 얼마나 많은 유지할 수 있습니다, 얼마나 많은 시간과 비용, 그리고 얼마나 더 효율적. 또한 새의 얼마나 많은 비용이 알고, 이것에 의해, 예를 들어 엔지니어 학습 비용, 개발 및 유지 보수 비용 및 미래의 확장성 생성 됩니다 프레임 워크를 사용 하는 경우 귀하와 팀 그리고 심지어 보안 고려 사항, 오픈 소스 프레임 워크 결함을 업그레이 드 하는 필요를 포함 하 여 잘 알려져 있다.

코멘트:

그러나 빅 데이터 시대에 많은 사람들이 생각 Hadoop은 사용 하기 쉬운, 그래서 큰 데이터 응용 프로그램에, Hadoop은 최전선에 또한,, Hadoop 또한 해결 되지 않은 문제를 직면할 것 이다, Hadoop 아니다 전 능, 그래서 과정에서 Hadoop을 사용 하 여 사용자가 할 수 있어야.