대형 데이터 저장소에서 쉽게 발생할 수 있는 문제를 설명

"빅 데이터"은 일반적으로 데이터 집합을 수집, 처리, 분석 하기 어려운, 거 대 한 그리고 그 시간의 긴 기간 동안 전통적인 인프라에서 지켜진다 가리킵니다. 산업 배치 했다 무한 한 기대의 큰 데이터, 그리고 더 큰 응용 프로그램에 비즈니스 정보 축적의 값, 더 많은 우리가 이러한 가치를 발굴 하는 방법. "큰" 여러 가지 의미, 그것은 조직의 크기를 기술 할 수 있으며 더 중요 한 것은, 그것은 기업에서 IT 인프라의 크기를 정의 합니다.

대부분 사람들의 노출 큰 데이터의 저장 용량, 염가에서 주로 오셔서 기업 데이터를 많이 만드는 사실, 매일, 그리고 더 많은 그리고 더 많은, 그리고 사람들이 귀중 한 비즈니스 인텔리전스 데이터의 무수에서 검색 하려고 하는. 다른 한편으로, 사용자는 또한 분석 된 데이터를 저장 됩니다, 그리고 오래 된 데이터와 비교 될 수 있기 때문에 새로운 데이터 수집 미래에, 여전히 잠재적인 활용.

왜 큰 데이터?

더 많은 데이터를 저장 하는 기능 이외에 우리 그 어느 때 보다 더 많은 데이터 종류를 직면해 야 한다. 이러한 데이터 소스는 온라인 거래, 소셜 네트워킹, 자동 센서, 모바일 기기 및 과학 기기, 다른 사람의 사이에서 포함 됩니다. 데이터 생산의 고정된 소스 이외에 다양 한 거래 또한 데이터의 축적 가속화할 수 있다. 예를 들어 사회 형 멀티미디어 데이터의 폭발적인 성장 새로운 온라인 트랜잭션 및 기록 관리 관행에서 유래한 다. 데이터는 항상 성장 하 고, 하지만 거 대 한 양의 데이터를 저장 하는 기능 충분 하지 않습니다 때문에 우리가 성공적으로 그것 으로부터 비즈니스 가치에 대 한 검색 수 있습니다 보장 하지는 않습니다.

데이터 생산의 중요 한 요소 이다

정보 시대에서 데이터 생산, 자본, 노동 및 원료 및 기타 요소와 같은 중요 한 요소가 되 고 일반 수요, 그것은 더 이상 특별 한 특정 산업의 응용 프로그램에 제한. 모든 생 업에서 회사는 수집 하 고 데이터 분석 결과의 많은 가능한 비용 절감, 제품 품질 향상, 생산 효율 향상 및 새로운 제품을 사용 하 여. 예를 들어 제품 테스트 사이트에서 직접 수집한 데이터를 분석 하 여 디자인을 개선 하는 기업을 수 있습니다. 또한, 회사 수 능가 경쟁사 깊이, 고객 행동을 분석 하 여 대조 시장 데이터의 많은.

저장 기술을 계속 해야 합니다.

폭발적인 성장으로 대용량 데이터 응용 프로그램의, 그것은 자체 독특한 아키텍처를 산란 했다 고 직접 스토리지, 네트워킹 및 컴퓨팅의 개발을 주도 했다. 결국, 큰 데이터를 다루는 특별 한 필요가 새로운 도전 이다. 하드웨어의 개발은 궁극적으로 소프트웨어 요구 사항에 의해 구동 하 고이 경우에 대용량 데이터 분석 응용 프로그램 요구 사항 데이터 스토리지 인프라의 개발에 영향을 분명 하다.

다른 한편으로,이 변경 저장소 공급 업체와 기타 IT 인프라 공급 업체에 대 한 기회가 아니다. 구조화 및 구조화 되지 않은 데이터의 지속적인 성장 및 데이터 소스의 다양화, 스토리지 시스템의 설계는 큰 데이터 응용 프로그램의 요구에 맞게 수 되지 않았습니다. 저장소 공급 업체는 이것을 실현, 그들은 블록의 건축 디자인을 수정 하 여 파일 기반된 저장 시스템 이러한 새로운 요구 사항을 수용 하기 시작 했다. 여기 우리는 어떤 특성은 그들이 큰 데이터의 과제를 충족 하는 어떻게 보고 대용량 데이터 스토리지 인프라에 관련 된 토론.

용량 문제

여기 "대용량" 일반적으로 PB 수준 데이터 규모를 도달할 수 있다, 따라서 대량 데이터 저장 시스템의 확장 기능 해당 수준이 있어야. 동시에 스토리지 시스템의 확장은 간단 하 고, 모듈 또는 디스크를 추가 하 여 용량을 늘릴 수 있다 고도 가동 중지 시간을 필요 하지 않습니다 해야 합니다. 이 요구에 따라, 고객은 지금 점점 더 애 용 확장 아키텍처의 스토리지. 확장 클러스터 구조는 일정 한 양의 내부 데이터 처리 용량 및 상호 장비, 각 노드의 저장 용량 특징 그리고 전통적인 스토리지 시스템 굴뚝 스타일 아키텍처는 완전히 다른, 확장 아키텍처 스토리지 제도 피하기 위해 원활 하 고 부드러운 확장을 얻을 수 있습니다.

데이터의 규모 뿐만 아니라 큰 데이터 응용 프로그램 파일의 거 대 한 수 의미 합니다. 따라서, 파일 시스템 계층의 축적 된 메타 데이터를 관리 하는 방법 어려운 문제, 그리고 부적 절 한 처리 수에 영향을 전통적인 NAS 시스템의 병목은 시스템의 성능과 확장성. 다행히, 단일 시스템에서 파일 수준 1 십억의 수를 관리할 수 있으며 전통적인 스토리지 같은 메타 데이터 관리도 퍼진 하지 개체 기반 스토리지 아키텍처와 같은 문제가입니다. 객체 기반 스토리지 시스템 또한 광역 확장성 배포 하 고 여러 다른 위치에서 크로스-국가 대형 스토리지 인프라 형성 있다.

대기 시간 문제

"빅 데이터" 응용 프로그램에는 또한 실시간으로 문제가 있다. 특히, 그것은 온라인 거래 또는 금융 클래스와 관련 된 응용 프로그램을 포함 한다. 예를 들어 의류 판매 업계에서 온라인 광고 서비스 고객 레코드와 정확한 광고 검색의 실시간 분석을 요구 한다. 이 응답 대기 시간의 결과 시스템 되겠습니다 "만료" 광고 콘텐츠를 고객에 게는 높은 응답 속도 유지 하면서 이러한 기능을 지 원하는 수 스토리지 시스템이 필요 합니다. 이 시나리오에서는 확장 아키텍처의 스토리지 시스템의 노드 마다 처리 하기 때문에 이점을 재생 하 고 용량을 증가 하는 동안 동기적으로 성장할 수 있는 구성 요소를 상호 연결 수 있습니다. 객체 기반 스토리지 시스템 동시 데이터 흐름을 지원 하 고 추가 데이터 처리량을 향상 시킬 수 있습니다.

HPC 높은-성능 컴퓨팅 등 높은 IOPS 성능이 필요로 하는 많은 "빅 데이터" 응용 프로그램을 확인 하 고 있습니다. 또한, 전통적인 IT 환경을 변경 하는 것으로 서버 가상화의 인기 높은 iops에 대 한 필요에 지도 했다. 이러한도 전에, 고체 저장 장비 등장, 서버 내에서 캐시 할 간단한 작은의 다양 한 모델을 충족 시키기 위하여 확장 가능한 스토리지 시스템 등의 솔리드 스테이트 미디어 큰 등은 호황.

일단 큰 데이터 분석 응용 프로그램의 잠재적인 가치를 인식 하는 기업에 동시 액세스를 그들은 비교할 것 이다 더 많은 데이터 집합을 시스템에 더 많은 사람들이 공유 하 고 데이터를 사용 하면서. 더 많은 비즈니스 가치를 만들기 위해 기업 다른 플랫폼에서 다양 한 데이터 개체를 종합적으로 분석 하는 경향이 있다. 스토리지 인프라, 글로벌 파일 시스템을 포함 하 여 사용자가 데이터 액세스 문제 해결을 도울 수 있다 그리고 글로벌 파일 시스템 사용자가 여러 파일 데이터에 동시에 액세스 하는 여러 호스트에는 여러 다른 유형의 여러 위치에 저장 장치에 저장할 수 있습니다.

보안 문제

일부 특수 산업, 재무 데이터, 의료 정보 등 정부 정보, 있다 그들의 자신의 보안 표준 및 기밀성 요구 사항. 하지만 이것은 다른 그것에 대 한 관리자, 그리고 그들 모두, 순종을 하지만 큰 데이터 분석 종종 여러 종류의 데이터를 서로 참조할 필요 있고 과거에는 그러한 데이터 액세스, 대용량 데이터 응용 프로그램 또한 고려해 야 할 몇 가지 새로운 보안 문제를 양산 하는 그래서 혼합.

비용된 문제

"큰" 의미할 수 있다 또한 비싼. 비용된 제어 큰 데이터 환경을 사용 하는 기업에 대 한 중요 한 문제 이다.입니다. 우리 또한 비싼 부품을 줄이면서 "능률" 각 장치에 게 하는 비용 뜻을 제어 하려고 합니다. 현재, 데이터 중복 제거와 같은 기술을 기본 스토리지 시장 입력 하 고 이제 대용량 데이터 스토리지 응용 프로그램에 더 많은 가치를가지고 하 고 스토리지 효율성을 향상 시킬 수 있는 더 많은 데이터 형식을 처리할 수 있습니다. 데이터 볼륨 성장 하는 환경에서 투자에 상당한 수익을 얻을 수 있다 백 엔드 저장소의 소비를 줄이는 경우에 단 몇 % 포인트. 또한, 자동화 된 소형 구성, 스냅샷, 및 기술 복제의 사용 또한 스토리지 효율성을 높일 수 있습니다.

많은 대용량 데이터 스토리지 시스템 구성 요소, 특히 기록 데이터를 분석 하거나 장기 데이터 보존을 필요로 하는 조직에 대 한 보관을 포함 합니다. 테이프는 여전히 단위 용량 스토리지 비용, 사실, 많은 기업에서의 관점에서 가장 경제적인 저장 매체, 그것은 여전히 사실상 표준 및 지 원하는 테라바이트 대용량 테이프의 아카이브 시스템을 사용 하는 연습.

비용 관리의 가장 영향력 있는 요소 그 상업적으로 사용할 수 있는 하드웨어 장치입니다. 그 결과, 많은 첫-시간 사용자와 응용 프로그램의 큰 번호와 그 것입니다 사용자 지정 자신의 "하드웨어 플랫폼" 상용 상용 제품, 사업 확장 과정에서 그들의 비용 관리 전략 균형을 사용할 수 있는 이동 하는 대신. 이 수요에 적응 시키기 위하여 점점 더 많은 스토리지 제품은 순수한 소프트웨어의 형태로 제공 하는 지금 설치할 수 있습니다 직접 사용자의 기존, 범용 또는 상용 하드웨어 장치에. 또한, 스토리지 소프트웨어 회사의 많은 또한 코어를 소프트 및 하드 통합 장치 또는 하드웨어 제조 업체 제휴와 협력 제품의 도입으로 소프트웨어 제품을 판매는.

데이터 축적

많은 큰 데이터 응용 프로그램 일반적으로 년 또는 수 십년에 대 한 보관 데이터를 필요로 하는 규정 준수 문제를 포함 한다. 예를 들어 의료 정보는 환자 안전 하도록 일반적으로 그리고 금융 정보는 일반적으로 7 년 동안 유지 됩니다. 큰 데이터 저장소를 사용 하는 일부 사용자 데이터는 역사의 일부 이며 데이터의 분석은 주로 기간에 기반으로 하기 때문에, 더 이상 보유 하는 데이터를 원하는. 달성 하기 위해 장기간 데이터 보존, 스토리지 공급 업체 지속적으로 데이터 일관성 및 장기 고가용성을 보장 하는 다른 기능을 감지 하는 능력을 개발 해야 합니다. 같은 시간에 직접 현장에서 업데이트에서 데이터의 함수 요구는 또한 깨달았다.

유연성

대용량 데이터 스토리지 시스템의 인프라 일반적으로 대형 이며 확장 고 응용 분석 소프트웨어 함께 확장 될 수 있도록 스토리지 시스템의 유연성을 보장 하기 위해 신중 하 게 설계 되어야 합니다. 대용량 데이터 스토리지 환경에서 동시에 여러 배포 사이트에서 데이터를 저장 하기 때문에 어떤 더 많은 데이터 마이그레이션 할 필요가 있다. 대용량 데이터 스토리지 인프라 사용에 투입은, 일단 이므로, 조정 하기 어려운 다양 한 다른 응용 프로그램 형식 및 데이터 시나리오에 적응할 수 있어야 합니다.

응용 프로그램 인식

사용자가 큰 데이터의 첫 번째 일괄 처리와 같은 시스템 정부 프로젝트를 위해 개발 된 전용 응용 프로그램에 대 한 사용자 지정된 인프라를 개발 했습니다 큰 인터넷 서비스 공급자에 의해 생성 하는 서버. 주류 스토리지 시스템에서 인식 기술 적용은 점점 더 일반적인 지 각 기술의 응용 프로그램 또한 큰 데이터 스토리지 환경에서 사용 해야 하므로 효율성과 시스템의 성능을 개선 하는 중요 한 수단 이기도입니다.

작은 사용자의 경우는 어떻습니까?

큰 데이터에 의존 하지 않습니다만 특별 한 대형 사용자 그룹, 작은 기업의 미래 비즈니스 요구 확실히 큰 데이터에 적용 됩니다. 우리는 일부 저장소 공급 업체는 이미 더 비용 민감한 사용자에 게 주로 매력적인 작은 "빅 데이터" 스토리지 시스템 개발을 참조 하십시오.