미래 예측: Hadoop 혼자 큰 데이터를 처리할 수 없습니다

Hadoop 혼자 큰 데이터를 처리할 수 없습니다.

"Hadoop MapReduce 모델은 확실히 큰 데이터 문제를 해결 하기 위해 한 가지 방법은," Sriram 말했다. 하지만 Hadoop은 일괄 처리로 그것은 지금에 대 한 좋은 이다 당신이 필요가 있는 무엇을 마음에 계속. 나는 곧, 우리가이 데이터를 실시간으로 처리할 수 필요가 믿습니다. "Sriram, Hadoop 컨설턴트는 말하는이 유비 쿼터 스 플랫폼 느립니다. 이러한 강력한 프레임 워크, 분, 많은 양의 데이터를 처리할 수 있습니다 하지만 그는 항상 충분 하지 않습니다. 이 문제를 해결 하는 방법?

숀 코 널리, Hortonworks 회사 전략의 부사장은 Hadoop 끊임없이 받고 있다 더 빠르고 유연 지적 한다. "우리는 점점 더 Hadoop에서 사용 하는 NoSQL 데이터베이스 최적화에 대 한 명시적 지금입니다. 그것은 이용할 수 있습니다 메모리 처리의 요청을 일괄 처리를 사용 하지 않고 빠르게 반환 될 수 있도록. 원사를 사용 하는 경우에 실제로 메모리에 기반 하는 더 많은 인터랙티브 쿼리를 할 수 있습니다. "또한, 스트리밍 분석 도구 또는 프로세스, 폭풍 같은 기술에 의존 하는의 지 이며 개발자 원사 아키텍처를 사용 하 여 Hadoop에 그들을 포함 수 있습니다." Hadoop을 사용 하 여 오늘날의 큰 데이터 사용자 근처 실시간 성능을 공부 하 고 있습니다. 그러나, 이것은 100% 실시간으로, 그리고 한 가지 중요 한 차이점은 조직의 컴퓨터를 사용 하 여 인스턴트, 빠른 결정을, 그것은 오래 전을 참조 해야 합니다 분석을 인위적으로 손상 되었을 수 있습니다.

이것은 람다 아키텍처 온다입니다. 엔터프라이즈 조직을 그들의 많은 양의 개별 처리에 대 한 데이터에서 증분 데이터를 분리 수 있습니다. 대부분의 데이터가 일괄 처리 시스템으로가 고 "속도 레이어" 이라고 "속도 수준" 실시간 처리에 대 한 데이터의. NoSQL 데이터베이스 (그들의 대부분) 구체적인 사례에 맞게 데이터를 관리 하는 전용된 도구를 제공 하기 때문에 그들의 자신의 생태계를 있다.

통합에 중요할 것 이다, 하지만 어떤 도구 모두에 대 한 작동 합니다.

Hadoop을 원조를 제공에 관해서, 잘 설계 된 도구는 극적으로 증가 하 고 큰 데이터 놀라운 속도로 공 수에서. Elasticsearch, pentaho, 뿐 아니라 다른 틈새 시장에서 전체 큰 데이터 생태계를 커버 하는 많은 다른 도구. 하지만 다음 큰 단계는 그들을 작동 하는 방법을 함께 더 나은. 이 단계 도착할 때까지 큰 데이터의 관리는 더 많은 캐주얼 있을 것입니다.

물론,이 통합된 제품 항상 모든 비즈니스 모델에 대 한 적합 한 것을 의미 하지 않는다. 데이터는 여러 형태로 온다 고 그 정보를 사용 하 여 다른 일을 하 고 싶어 모든 비즈니스 조직. 조직에서는 다양 한 데이터 형식, 왜 그들은 그것, 그것을 저장 하 고 싶은지 어떻게, 어떻게 그들이 원하는, 그것을 분석 하 고 얼마나 빨리 그들은 그걸로 거래를 해야 수집의 원본에 따라 데이터를 처리 하는 다른 방법 사용 해야 합니다. 모듈형 통합 하는 동안 계속 하겠습니다. 이 조직을 할 때마다 다시 시작 하지 않고 그들의 자신의 독특한 사용 사례에 대 한 적절 한 도구를 만들 수 있습니다.

대용량 데이터 기술에 익숙한 소프트웨어 엔지니어는 큰 수요를 해야한다합니다

모 한 큰 데이터 공간에서 가장 중요 한 과제 중 하나 최소한의 인재 풀에 연관 되어야 지적 한다. "않습니다이 경험을 가진 많은 사람들이. "이 의미 하지 않는다 소프트웨어 엔지니어 학교에가 야 하 고 박사 학위를 얻이 필요가." 숙련 된 노동자는 큰 데이터를 이해 하는 박사 학위를 필요 하지 않습니다. 그러나, 그들은 지식과 전문 기술을 습득 해야 할. 목표, 시간 및 에너지에 투자할 의향이 어떤 소프트웨어 엔지니어 그것을 달성할 수 있을 것입니다입니다 Sriram, 말한다. 교실 반드시 유일한 출발점이 아니다. 노력을 통해 관계형 데이터베이스와 관계형 데이터베이스를 전환의 크기를 실현 하기 위해, 그래서 그것은 견고한 기초를 마스터 큰 데이터 문제.

박사 모 한 뭐 하는 오늘날의 소프트웨어 엔지니어에 대 한 미래의 작품 세계 준비 중입니다. 그는 보스턴의 큰 데이터 Techcon에 두 교육의 기회를 제공 합니다: Hadoop의 데이터 전송 도구 및 MapReduce 소개. 앞으로 몇 년에 대 한 고용 시장에 되 고 싶어 하는 사람들을 위해 시작 하는 시간 이다.