큰 데이터 기술 개발 배경

대기업, 큰 데이터에 상승 일부 있기 때문에 컴퓨팅 파워는 저렴 한 비용, 사용 가능 및 시스템은 이제 멀티태스킹의 능력 이다. 둘째, 메모리의 비용 또한 급락은, 그리고 기업은 그 어느 때 보다 메모리에서 더 많은 데이터를 처리할 수 있습니다. 그리고 집계 컴퓨터 서버 클러스터로 쉽게 지 고 있다. 칼 Olofson, IDC의 데이터베이스 관리 분석가,이 세 가지 요소의 조합 큰 데이터를 양산 했다 생각 합니다.

"뿐만 아니라 우리가 합니까 이러한 것 들, 하지만 우리는 저렴 한 비용에 그들을 할 수 있는," 고 말했다. "과거에는, 일부 대형 슈퍼 무거운 처리 시스템, 단단히 집계 클러스터로 함께 건설에 참여 했습니다 하지만 그들은 특별히 설계 된 하드웨어 이기 때문에, 그것은의 수천 또는 심지어 수백만 달러의 수백 비용." 그리고 지금 우리 일반 상품화 하드웨어와 같은 컴퓨팅 파워를 얻을 수 있다. 이 우리 보다 신속 하 고 싸게 더 많은 데이터를 처리 하는 데 도움이 됩니다. "

물론, 큰 데이터 웨어하우스 모든 기업 대형 데이터 기술을 사용 하 여 말할 수 있다. 그 기술 빅 데이터 기술에 대 한 먼저 해야 비용 저렴, 뒤에 두 IBM에 의해 설명 된 세 가지 "V" 조건에 맞게 필요를 주장 하는 IDC: 다양성 (다양 한), 볼륨 (볼륨)과 속도 (velocity).

다양성은 데이터 구조화 및 구조화 되지 않은 데이터를 포함 해야 의미 합니다. 볼륨 분석 매우 큰 것을 위해 함께 집계 되는 데이터의 양을 말합니다. 그러나 속도,, 데이터 처리 빨리 해야 의미 합니다. Olofson 큰 데이터 "하지 항상 있다 수백 TB." 라고 실제 사용, 때로는 수백 기가바이트의 데이터 호출할 수 있습니다 그것의 제 3 차원에 주로 달려 있는 큰 데이터에 따라 즉, 속도 또는 시간 차원. 1 초에 300 GB의 데이터를 분석할 수 있습니다 및 일반적으로 1 시간 소요,이 거 대 한 변화의 결과 큰 가치를 추가 합니다. 큰 데이터 기술은이 세 가지 조건 중 두 개 이상을 달성 하는 저렴 한 응용 프로그램입니다. "

오픈 소스 관계

"많은 사람들이 생각 하 둡 빅 데이터와 동의어 이다," 고 말했다. 하지만 그것은 실수 였다, "Olofson 설명 했다. Teradata, MySQL, 및 "스마트 클러스터 기술" 구현 중 일부의 예 Hadoop을 사용 하지 않습니다 하지만 또한 대용량 데이터의 구현 경우 것으로 간주 됩니다.

대용량 데이터에 대 한 응용 프로그램 환경, Hadoop MapReduce 환경, 하이퍼 계산 원, 주로 Google에서 만든 프로젝트에서에서 일반적으로 사용 되는 단순화 된 환경에 기반 하기 때문에 사람들의 주를 끈다. Hadoop은 밀접 하 게 관련 된 다양 한 아파치 프로젝트, HBase 데이터베이스를 포함 하 여 MapReduce 환경에서 만든 하이브리드 구현 환경.

소프트웨어 개발자는 일반적으로 모든 것 Hadoop을 사용 하 여 응답 하 고는 비슷한 고급 기술을 다 오픈 소스 커뮤니티에서 개발. "그들은 어지럽게 만들고 바뀐다는 것, 소위 NoSQL 데이터베이스 처리를 위해 최적화 되어 데이터베이스의 키 값의 대부분 전력, 다양화, 또는 데이터베이스 크기," Olofson 말했다.

오픈 소스 기술은 일반적으로 하지 상업적으로 지원, "그래서 이런 것이 들 해야 시간이 지남에 진화 하 고 점차적으로 일반적으로 년 걸릴 결함을 제거 합니다." 즉, 신생의 대용량 데이터 기술 인기가 되지 않습니다 아직 일반적인 시장에서. 동시에 IDC 예상 올해 말까지 Hadoop에 대 한 지원의 어떤 종류를 제공 하기 위해 적어도 3 명의 상업 공급 업체. Datameer, 같은 다른 공급 업체는 또한 그들의 자신의 응용 프로그램을 개발 하는 사업을 허용 하는 Hadoop 구성 요소와 분석 도구를 제공 합니다. 예를 들어 Cloudera 및 tableau 그들의 제품에서 Hadoop를 이용 했다.

관계형 데이터베이스 업그레이드

업계 전문가 일반적으로 대형 데이터 기술 또한 고려 되어야 한다 관계형 데이터베이스 관리 시스템 (RDBMS)을 업그레이드 하는 경우 동의 합니다. "빅 데이터 기술은 더 빨리, 더 큰, 저렴 한 상황에 적용 됩니다," Olofson 말했다. "예, Teradata 하면 시스템, 확장 가능한 저렴 하 고 클러스터 된.

그러나 다른 사람,, 생각 하지 않는다 이렇게. 마커 스 콜린스, 가트너의 데이터 관리 분석, "고 말했다,"는 RDBMS를 사용 하 여 BI 도구는 일반적으로이 과정은 정말 큰 데이터. 이 프로세스는 오랜 역사를가지고 있습니다. "

(책임 편집기: 유산의 좋은)