왜 우리가 대규모 대량 데이터 처리 기술 해 것을 말합니까

대용량 데이터 처리 기술 컴퓨터의 현재 동작 모드를 변화 하 고 있습니다. 우리 수익의 많은에서 있어 그 때문에 우리에 게 검색 엔진 구글을 제공 하는 큰 데이터 처리 기술. 하지만 이야기는 막 시작 하 고, 그리고 여러 가지 이유로 우리는 대규모 데이터 처리 기술 세상은 바뀌고 말: * microblogging, 문서, 이메일, 문서, 오디오, 비디오 또는 다른 형태의 데이터 인지 거의 모든 유형의 데이터를 처리할 수 있습니다.

* 그것은 매우 빠르게 작동: 실제적으로 실시간에.

* 그것은 보편적인: 가장 일반적인, 저가 하드웨어를 사용 하기 때문에

이 회사에 대 한 솔루션을 제공 하는 큰 데이터:이 베이, 페이 스 북, 링크 드 인, 넷 플 릭 스, 트위터, 및 Zynga.

사실, 큰 데이터 처리는 새로운 기술, 그것은 짧은 기간 기술의 단지 작은 부분. 이러한 기술 중 일부는 살고 우리와 함께 몇 년 동안, 하지만 2012 년, 시간 경과 어디 작은 부분의 기술 하자 갑자기 불 큰 데이터.

* * 현재 빅 데이터 시장 $70 십억 조에 도달 하 고 1 년 15%의 속도로 성장 하 고 *

데이터 스토리지 거 대 한 EMC CEO Pat Gelsinger 최근 대형 데이터 처리에 대 한 현재 시장 $70 십억 조에 도달 하 고 연간 15-20% 속도로 성장 하 고 밝혔다. 거의 모든 주요 기술 기업 큰 데이터에 관심이 있으며이 지역에서 서비스와 제품에 무 겁 게 투자. 이들은 IBM, 오라클, EMC, HP, 델, SGI, 히타치, 야 후,, 그리고 목록은 계속.

자주 이동 큰 회사의 깊은 주머니가 보고, VC 하지 않습니다, 필드 그들의 미래 현금 암소를 될 것입니다. 그들은 큰 데이터 필드에 Accel, 혁신 인큐베이터 기관, 지난해 11 월, 100 백만 달러 "빅 데이터" 펀드 설정 신뢰할 수 있는 벤처에 투자를 찾고 그리고 IA 벤처는 또한 이전 1 개월 동안에서 동일한 펀드를 설립.

* * 큰 데이터 영역 입력 하는 사람들의 큰 숫자를 유치 하는

큰 데이터에 대 한 모든 것은 "큰": 잠재 시장이 크고,이 지역에서 사업 큰, 심지어는 작은 팀을 그냥 사업을 시작 하는 필드를 입력, 그들은 큰 투자를 얻을. 따라서, 우리 것 이라고 놀라지 않을 필드 입력 실리콘밸리 엔지니어의 큰 숫자를 보고. 구글, 페이 스 북, 야 후에서 엔지니어 Cloudera, Hortonworks 및 모임의 같은 큰 데이터 필드 신생 입력에 늘어서 있다.

* * 저렴 한 기술 빅 데이터 가능 하 게 *

대형 데이터 처리 하는 필요 때문에 발생합니다.

* 클라우드 기술 사람들이 싸게 컴퓨팅 및 스토리지의 엄청난 금액을 얻을 수 있는 능력을 제공 합니다. 메인프레임 데이터 센터를 구입, 그냥 사용 하는 부분에 대 한 지불 필요가 없습니다.

* 소셜 미디어 의미는 모두 만드는 것입니다 흥미로운 데이터 및 그것을 사용.

* GPS 두는 시스템으로 스마트폰은 사람들의 일상 생활에 새로운 통찰력을 제공 하 고 있다.

* 광대역 연결의 인기 계속 사람들이 온라인 모든 시간

* * 작업 분해, 큰 데이터 기술 기술의 4 가지 종류의 구성 *

우리가 앞서 언급 했 듯이, 큰 데이터 기술을 포함 하 여 많은 기술의 컬렉션의 어떤 종류는:

* 분석 기술

* 저장소 데이터베이스

* nosql 데이터베이스

* 분산 컴퓨팅

* * 분석 의미 방대한 양의 데이터를 실시간으로 분석 *

사람들이 우리가 클라우드 기술로 할 수 있는 대 한 생각. IBM 부사장 겸 cto 인 로렌 주 컴퓨팅 클라우드 우리 통찰력의 감각을 얻기 위해 희망 큰 데이터 및 분석 기술을 사용 하 여 설명 했다. 그녀는 호주 오픈 테니스 대회에 대 한 케이스를 제공합니다. 조직 위원회 IBM의 클라우드 플랫폼에 슬램 추적기 라는 분석 엔진, 슬램 추적기 지난 5 년 동안 거의 39 백만 통계를 수집. 이 데이터는 그들이 이길 때 성능의 선수 모드 중 일부의 분석을 제공 합니다.

* * 메모리 데이터베이스 기술 (메모리 데이터베이스) 정보의 급속 한 흐름을 수 있습니다 *

대용량 데이터 분석 자주 사용 하 여 저장소 데이터베이스 기록된 데이터 흐름의 큰 숫자를 신속 하 게 처리. 예, 그것은 수 분석 전국 체인 스토어의 판매 레코드 1 일, 특정 특성을 그리기 하 고 특정 규칙에 따라 적시에 소비자에 게 보상을 제공.

* * nosql 데이터베이스는 클라우드 플랫폼을 기반으로 데이터 처리 모델의 새로운 유형 *

NoSQL 또한 많은 경우에 클라우드 데이터베이스 라고 합니다. 데이터 처리 패턴은 완전히 다양 한 저비용 서버 및 스토리지 디스크 분산, 때문에 그것은 웹 페이지 및 데이터 처리 과정에서 엄청난 금액을 적용 하는 다양 한 상호 작용을 도울 수 있다. Zynga, AOL, 시스 코, 그리고 다른 기업에 대 한 웹 응용 프로그램 지원을 제공합니다. 일반 데이터베이스 범주, 유사한 이름 및 계정, 구성 하 여 태그에 데이터를 구성 해야 합니다. 하지만 NoSQL 데이터베이스 이것에 대해 전혀 상관 하지 않습니다, 그리고 그것은 다양 한 종류의 문서를 처리할 수 있습니다.

동시에 대량의 데이터를 처리할 때 그것은 아무 문제는 없습니다. 예를 들어 10 백만 사람들 로그인 Zynga 게임을 동시에 하는 경우 세계의 서버 데이터를 분배 하 고 그들을 사용 하 여 데이터 처리 결과 만명 온라인 다는 것.

* * 다양 한 크기의 플레이어에서 nosql

오늘 NoSQL 모델의 많은 다른 유형이 있다. Couchbase, 10gen MongoDB와 Oracle NoSQL 같은 상업 모델, 오픈 소스 무료 모델을 최신 NoSQL CouchDB와 카산드라, 그리고 아마존의 클라우드 서비스.

* * 분산 컴퓨팅 및 결합 된 NoSQL 실시간 분석 기술 *

실시간 분석 및 NoSQL 데이터를 처리 하려면 분산 컴퓨팅 하는 것이 해야 합니다. 분산된 기술 일련의 거 대 한 데이터를 실시간으로 분석 하는 기술 결합 합니다. 더 중요 한 것은, 사용 하 여 하드웨어는 매우 저렴 한,이 기술을 대중화 하는 게 가능 하.

SGI의 써니 Sundstrom 우리는 데이터를 연결 하 고 구성 하지 않는 것을 분석 하 여 많은 귀중 한 결과 얻을 수 있습니다 설명 합니다. 예를 들어 새로운 패턴이 나 새로운 동작을 찾을 수 있습니다. 분산된 컴퓨팅 기술을 사용 하 여, 은행 소비자 행동 및 패턴에서 온라인 거래의 사기 동작을 확인할 수 있습니다.

* * 분산된 컴퓨팅 기술을 만들어 가능한 불가능 *

분산된 컴퓨팅 기술을 가능 하 게 하는 게 불가능 한 선두 주자입니다. Skybox 이미징 좋은 예입니다. 실시간으로 위성 이미지 결과의 회사의 분석 주어진된 도시에 얼마나 많은 주차 공간을 사용할 수 또는 얼마나 많은 배와 같은 있다 하나의 포트에서. 그들은 그들 필요로 하는 고객에 게 이러한 실시간 결과 판매. 이 기술 없이 그것 것 수 없습니다 신속 하 고 저렴 하 게 위성 이미지 등 많은 양의 분석 하.

* * 분산된 컴퓨팅 기술이 이다 Google의 핵심 뿐만 아니라 야 후의 기초

현재, 분산된 컴퓨팅 기술, 구글이 만든 기술에 기반 하지만 그것은 야 후에 의해 만들어진 새로. Google, 2004 년에 출판, 간에 여러 대의 컴퓨터, 2003 년에, 주로 여러 서버에 데이터를 저장 하는 방법에 게시 된 데이터 처리를 처리 하는 방법에 MapReduce 종이 라는 두 논문의 총 출판.

더 그 커팅, 야 후, 엔지니어 두 논문을 읽은 후 그의 아들의 장난감 코끼리를 따서 분산된 컴퓨팅 플랫폼을 구축. 지금 절단 하는 것은 가장 큰 분산된 시스템 시작 회사 Cloudera 가입 야 후를 남아 있다. 다른 신생 모임의 등 야 후의 자신의 hortonworks. 그러나 모든 큰 IT 공급 업체 제공 하는 제품의 형태에이 기술을, 또는 그들의 클라우드 컴퓨팅 플랫폼에 따라.

* * 기술은 종종 무료, 하지만 컨설팅 수수료는 꽤 비싼 * 큰 데이터 기술의 대부분 오픈 프로젝트와 서비스를 제공 하 여 무료 이며 수익성. IT 회사의 많은 필요에이 응용 프로그램을 구축 하는 방법을 이해 하지 않습니다도 필요 합니다. 주요 IT 기업 제품 및 서비스 분산된 기술을 최대한 활용 하는 회사를 구축 하고있다. 신흥 신생 수가 포함 됩니다. 우리는 미래 기업 구글과 같은 이러한 신생 기업에서 더 많은 것을 믿을 수 있습니다.