큰 데이터 나 분석의 지점에 왔다

11 월 8 일, 2011 년 말까지 글로벌 인터넷 사용자의 수에 도달 2.267 십억, 2012 년 6 월 현재로, 중국의 인터넷 사용자가 538 백만 도달. 네티즌의 거 대 한 숫자 통계에 따르면 매 순간 데이터의 대량 생산: 글로벌 전자 메일 사용자의 총 수 하루 204 백만 전자 메일 전송, Google 2 백만 검색 처리, 페이 스 북 사용자의 콘텐츠 684,000 비트를 공유 합니다... 같은 시간에 동시에 사용자가 않습니다만 정보 온라인, 사용자가 보낼 마이크로 블로그, 업로드 사진, 업로드 동영상, 등등, 다양 한 데이터 형식에에서 발생 하는 동시에. 사용자가 생성 하는 데이터의 양을 보여줄 것 이다 또한 성장의 폭발 큰 데이터의 시대 왔다.

사용자에서 데이터의 양이 증가 함에 따라 기 하 급수적으로, 대규모 사용자 데이터 큰 가치를 만들 것입니다, 대규모 데이터 처리 및 분석에 큰 데이터, 하지만 이제는 능력의 분석에서 훌륭한 가치 미행 당하고 까지입니다, 저장, 검색 하 고, 청소 하 고 많은 분석 하는 방법 어렵습니다 부인 하는 것 있다.

대용량 데이터 저장 및 백업, 많은 인터넷 기업 일 데이터 볼륨 증가 수십, 수백 TB (1 TB = 1024 기가바이트)의 속도, 총 데이터 PB (1024 테라바이트) 수준에 도달 했습니다 동안 데이터 볼륨 어려운 대형 데이터를 저장할 기존 데이터베이스에 대 한 만들었습니다. 기업, 동시에 데이터 백업은 중요 데이터 백업 부족 발생할 수 있습니다 엄청난 영향 기업에. 현재, 백업 및 복구의 시간을 증가 하는 대용량 데이터 시대에 데이터 폭발, 저장 장치는 제한, 데이터 백업 및 복구 될 것 이다 더 어려운, 데이터 저장 및 백업 저장할 수 있는 방법을 파워, 저장 공간, 저장 비용 등등을 고려 하는 동안.

대용량 데이터 분석 하기 전에 잘못 된 값 및 누락 된 값, 등등 대용량 데이터 처리, 중복 값 삭제 데이터 일관성 검사를 포함 하 여 데이터를 정리 하는 데 필요한, 또한 포함 하는 대규모 데이터 "잡음", 전통적인 데이터 분석 소프트웨어를 사용 하 여 더 어려운이 "소음"를 정리 하. 같은 시간에 필요한 대용량 데이터의 핵심 데이터를 신속 하 게 추출, 효율적으로, 이러한 핵심 데이터 분석 고급 분석 모델을 설정 하는 데 필요한, 큰 데이터 정말 역할을 할 수 있도록 데이터를 분석할 수 있습니다만 코어, 추세 및 숨겨진된 정보를 깨닫게 될 것입니다. 대용량 데이터 마이닝 필요 하드웨어 및 소프트웨어, 소프트웨어, 하드웨어 및 재능에 대 한 높은 도전 제공의 조합.

또한, 큰 데이터 시각화가 어렵습니다. 큰 데이터 시각화를 회사에서 사용할 수 있는 정보로 큰 데이터 분석 결과의 변화입니다. 만 처리, 비 데이터 분석 전문가 차트 및 큰 데이터는 정보에 포함 된 다른 표현 언어는 회사의 가치를 가져올 것 이다 완전히 이해할 수 visual 통해 큰 데이터 분석 결과. 데이터의 큰 금액을 포함 하는 큰 데이터, 데이터 형식을 혼합, 데이터 모델은 복잡 한, 데이터 결과 추상, 그리고 시각화 어렵습니다.

대용량 데이터 분석 전문가 부족. 큰 데이터 나이 더 많은 데이터 분석가 요구 하 고 심지어 데이터 과학자, CDO 등 새로운 일자리를 만드는 (최고 데이터 책임자), 데이터 시각화 및 데이터 조정 에이전트와 대용량 데이터 분석 위치에 대 한 더 구체적인 기준이 있다. 하지만 적어도 4 개의 기술로 다양 한 분야에 참여 하는 큰 데이터 분석가: 기술 (소프트웨어 및 시스템), 수학 (통계, 모델링 및 알고리즘), 비즈니스 분석 (분야 지식)와 시각화 (언어와 그래픽), 현재, 일반 비즈니스 사용자 분석가 또는 전통적인 데이터 분석가 단 하나 또는 두 위의 능력 있고 예측 분석 응용 프로그램 모델을 개발 하는 능력을 필요가 없습니다.

"빅 데이터" 왔다, 그리고 탐사에 큰 데이터의 문제를 해결 것입니다.

(책임 편집기: 유산의 좋은)