큰 데이터 2.0 기능-빠른 데이터 처리 시간

산업의 발전의 사업 기회 다양 한 동향 표시. "빅 데이터" 2014 어휘에서 사용 했지만 사실, 데이터, 큰 데이터 정리 및 분석 용량으로 데이터 시각화 병목 현상 및 기타 문제의 부족, "빅 데이터"는 하지 못하고 지연 방문.

최근, 인프라 개발, 대용량 데이터의 개발 새로운 한계점에 왔다 의미 합니다. 수원 Mehra, 시스템 소프트웨어 공급 업체 소프트웨어 AG, 큰 데이터 VentureBeat 웹 사이트의 개발의 그의 이해를 설명 하 고 그는 믿고 빠른 데이터 처리, 더 신뢰할 수 있는 데이터 품질, 그리고 더 많은 세그먼트 응용 프로그램 시장 2.0 시대의 큰 데이터의 중요 한 기능.

빠른 데이터 처리 속도

데이터의 지 수 성장으로 신속한 데이터 분석에 대 한 필요성이 그 어느 때 보다 더 긴급 한 되고있다. 거의 모든 큰 데이터 메이커는 다른 보다 빠른 제품을 팔고 싶어. 새로운 Hadoop 2.0/원사, Hadoop에 의해 해제 되는 데이터를 거의 실시간으로 분석할 수 있습니다. 아파치 불꽃의 견인 프레임을 계산 하기 위해 큰 데이터의 다음 세대는 Hadoop 보다 100 배 시간입니다.

Andreessen 호로비츠, 실리콘 밸리에서 벤처 캐피탈의 핵심 사업으로 아파치 불꽃으로 시작 databricks에 대 한 14 백만 달러 가격을 촬영 하고있다. 얼마 전, 아마존도 온라인 실시간 스트리밍 데이터 서비스 문제를 해결 하기 위해 데이터 처리 기능 없이 회사를 키.

많은 분석 공급 업체 데이터 처리 속도의 중요성을 인식 해야 하 고 제품을 만든 초당 TB 데이터를 처리할 수 있습니다. 센서 데이터 분석, 업계 및 소비자 수준의 시장, 사물의 인터넷의 급속 한 발전은이 변화를 드라이브. 예를 들어 회사의 센서는 초당 이벤트의 수백을 생성할 수 있습니다, 그리고 이러한 데이터의 처리 실시간은 매우 어렵습니다. 특히는 실시간 센서 데이터의 처리 속도, 하루 5 TB에 서 지 된다 특히 중요 한 지표.

동시 데이터 스토리지의 비용, leinian는 데이터 스토리지의 비용에 거 대 한 경비. 일부 기업 전체 데이터 스트림을 저장에 비해 노이즈를 필터링 하는 데이터를 저장 하는 경향이 있다.

"정크 데이터"의 지능형 청소

계산 하기 어렵다는 데이터의 양이 기하급수적으로 증식 계속, 많은 데이터 공급자의 의제에는 데이터 품질의 강화. 즉, 거 대 한 데이터를 얼굴에 컴퓨터가 효율적으로 쓸모 없는 "쓰레기" 데이터를 많이 하지만, 그들을 처리할 수 있는 경우에 것입니다만 시스템 부담 가져오고 저장, 호스트 및 기타 장비 비용 추가. 이 특정 규칙 및 매개 변수를 "청소"와 분석, 데이터의 흐름에 따라 데이터 처리 과정을 요구 하 고 자동으로 데이터 처리를 결정, 모든 더 이상 수동으로 개입 해야 합니다.

이러한 환경에서 잘못 된 데이터를 선택 하면 그것은 같을 것 이다 바이러스, 연속 오류 의사 결정, 고도 기업 경제 손실을 입었다. 예를 들어 주식 거래를 수행 하는 알고리즘을 사용 하는 주식 시장, 작은 오류를 계산 하는 밀리초에 그것은 거 대 한 손실이 발생할 수.

그 결과, 데이터 품질 서비스 수준 계약 (계약)에 대 한 가장 중요 한 매개 변수 중 하나가 되고있다. 공급 업체 고품질 데이터를 차단할 수 없는 산업에 의해 블랙 리스트에 있을 것 이다 고 심각한 경제 처벌을 얼굴.

비즈니스-로-비즈니스 산업은 데이터 품질의 얼 고 그들은 비즈니스 운영의 안정성을 유지 하기 위해 데이터의 품질에 큰 중요성을 첨부. 심지어 많은 회사 문제에 솔루션을 제공 하는 문제에 대 한 책임 위원에 전송 되는 데이터 품질에 대 한 실시간 경고 시스템을 배포 하려고 합니다.

기계 학습 데이터 품질 보장 해야 하는 또 다른 영역입니다. 기계 학습 시스템은 폐쇄 루프 생태계에 배포 하 고 원본 데이터 품질 규칙은 패턴 분석 및 다른 데이터 분석 기법을 통해 세련 된. 그리고 고품질 데이터를 올바른 행동 패턴 분석을 수행 하는 기계를 보장할 수 있습니다.

더 많은 기본적인 응용 프로그램

큰 데이터에 대 한 가져온 변화 모두, 그것을 사용 하고자 하지만 기술 임계값은 관중으로 행동 해야 하는 많은 사람들이. 그리고 응용 프로그램 들이이 어려움을 극복 하기 위해 도움이 될 것입니다. 다음 몇 년 동안, 우리는 주소 큰 데이터에 맞게 수직 지역 각계 각층에서 도전 하는 전문 응용 프로그램의 수천을 보자.

현재, 약간 성공을 달성 하는 데이터 분석 회사 포함 eharmony, 공사 Roambi, 기후 등등. 미래에 많은 중소 기업 전문 데이터 과학자를 고용 하거나 특정 인프라에 의존 하지 않고 대용량 데이터 분석의 사용에서 활용할 수 있습니다.

예를 들어 일부 응용 프로그램은 데이터를 수집할 관련된 고객 더 나은 고객의 요구를 이해 하는 소스의 다양 한에서. 특정 타겟 고객에 대 한 기업 수, 제품, 더 많은 돈을 벌기 위해 대상 특정 요구를 제공 합니다. 이러한 응용 프로그램은 사람들의 매일 맥주와 빵 가장자리 잘라내고, 건강 관리 및 다른 분야에가 서, 인생은 좋을 것 이다.