큰 데이터의 개발: 문제 및 과제

현재, 거의 모든 세계적인 인터넷 회사는 큰 데이터 산업에 그들의 사업을 확대 했습니다.

소셜 플랫폼, 가격 전쟁 또는 웹 포털 경쟁에 그것의 그림자가입니다. 큰 데이터를 사회 생활의 모든 측면에 영향을 미치는 사회 파로 기술 하는 뜨거운 단어입니다.

큰 데이터는 무엇입니까? 큰 데이터 또는 거 대 한 양의 정보를 캡처, 관리, 처리 및 데이터 정렬 비즈니스 의사 결정 더 긍정적인 목적 정보를 달성 하기 위해 적절 한 시간 내 현재 주류 소프트웨어 도구를 통과 하지 수 큰 규모에 관련 된 데이터의 양을 의미 합니다. 빅 데이터 시대에 빅터 Maire 쇤베르크와 케네스 Couqueil에 의해 쓰여진 큰 데이터 참조 임의의 분석 (샘플링), 사용 등 모든 데이터를 사용 하는 방법은 큰 데이터 4V 기능: 볼륨 (대량), 속도 (고속) 다양 한 (다양 한), 값 (값). 그래서 우리는 "큰" "빅 데이터 시대"에 정의 된 데이터는 4 개의 특징의 정의에서 이해, 우리 아마 그 값을 인식 하실 수 있습니다: 데이터, 데이터 형식, 데이터 값 밀도 낮은, 적시성과 데이터의 큰 볼륨.

다양 한 휴대용 장치, 인터넷 및 클라우드 개발 함께 저장 기술, 인간 및 개체의 모든 흔적은 기록할 수 있습니다. 모바일 인터넷의 핵심 네트워크 노드는 인간, 더 이상 웹 페이지. 빅뱅의 맥락에서 큰 데이터는 또한 많은 전에 직면.

데이터 저장소에서 문제: 큰 데이터 개발에 대 한 문제는 다른 장소, 다른 표준, 많은 양의 데이터, 여러 구조 형태, 실시간 데이터 정보 등. 이러한 문제는 의심할 여 지 없이 데이터 수집 및 통합의 어려움 증가, 그래서 건축 디자인 블록 및 파일 기반 스토리지 시스템 기존 하는 문제를 극복 하기 위해 수정 해야 합니다.

데이터 보안 문제: 데이터의 지속적인된 성장을 데이터 보안 문제를 가져온다. 첫째, 큰 데이터 그들의 큰 대상 웹에서 발견 될 가능성이 더 있으며, 두 번째, 더 과민 하 고 귀중 한 데이터는 잠재적인 공격자에 게 더 매력적. 또한, 개인정보의 노출 또한 개인 보안 문제를 일으킬 수 있습니다.

데이터 표시에서 과제: 많은 사용자 데이터 결과의 디스플레이 데이터 분석 보다 더 걱정 하는 경향이 있다. 텍스트 형태로 결과 출력 하거나 컴퓨터 터미널에서 직접 결과 표시 하는 전통적인 방법을 작은 양의 데이터를 얼굴에 좋은 선택이 될 수 있지만 복잡 한 형태와 대규모 데이터에 대 한 가능 하지 않습니다. 이 사용자가 같은 시간에 결과 얻을 수 있도록 최종 고도 중간 결과, 또한, 인간-컴퓨터 상호 작용 기술 또는 데이터 원본 기술, 시각화 시각화 기술의 도입 결과 이해 필요 합니다.

데이터에서 도전을 제어 비용: 비용 제어 큰 데이터 환경을 사용 하는 조직에 대 한 중요 한 문제입니다. 우리 또한 비싼 부품을 줄이면서 "능률" 각 장치에 게 하는 비용 뜻을 제어 하려고 합니다. 데이터 중복 제거와 같은 기술 기본 스토리지 시장에 이미 있고 대용량 데이터 스토리지 응용 프로그램에 더 많은 가치를가지고 하 고 스토리지 효율성을 향상 시킬 수 있는 더 많은 데이터 형식을 처리할 수 있습니다. 데이터 볼륨 성장 하는 환경에서 단지 몇 %의 백엔드 스토리지 소비를 줄입니다. 오늘날 데이터 센터에서 사용 되는 전통적인 부팅 드라이브 뿐만 아니라 높은 실패율이 하지만 높은 유지 보수 및 교체 비용이 있다. 그것를 사용 하 여 데이터 센터에서 독립 실행형 서버 부팅 드라이브를 교체할 경우 100 배 시간까지 신뢰성을 높일 수 있습니다. 그리고 호스트 시스템은 독특한 가이드 이미지를 제공, 수 시스템 관리의 단순화, 신뢰성, 및 에너지 절약 최대 60%, 실제 비용 절감 문제를 개선 하도록 각 추가 서버에 대 한 투명 한.

데이터 분석에서 도전이 이다 데이터 분석 대형 데이터 처리 과정의 중심에 있기 때문에 많은 수의 값 분석의 과정에서 오는 하지만 그것 또한 큰 도전 포즈. 첫째, 데이터의 양이 더 많은 가치 및 더 많은 데이터 잡음, 데이터 정리에 가져오고 다른 전처리 작업 더 신중 해야 경우 청소의 세분성, 그것은 유용한 정보를을 통해 곡물을 청소를 쉽게 굵고, 이상적인 청소 효과 달성할 수 없다와 품질에 너무 그리고 수행 하는 신중에 있 네, 동시에 또한 컴퓨터 하드웨어 및 알고리즘 수량 요구 엄격한 테스트. 둘째, 전통적인 데이터 웨어하우스 시스템 처리 시간에 대 한 높은, 하지만 많은 큰 데이터 응용 프로그램 필드 요구 사항에 되지 않습니다.

큰 데이터의 중요성 인간의 네트워크 동작의 증가 하는 인기와 연결 됩니다. "정화" 대규모 데이터에서 유용한 정보를 매우 거 대 한 프로젝트 이며 그것은 또한 현재 빅 데이터 시대에 큰 도전. 몇 년 후의 비판, 질문, 토론 및 큰 데이터에 투기, 대용량 데이터의 개발은 여전히 긴 여정.