Teradata 경영진 인터뷰: 대용량 데이터를 지능적으로 처리 하는 방법

Baoliming (Stephen Brobst) 마틴 Willcox 회사의 플랫폼 및 솔루션 영업 유럽, 중동 및 아프리카에서 감독 하는 동안 회사 Teradata, 웨어하우징 데이터의 최고 기술 책임자 이다. 그들은 최근 TechTarget 인터뷰 하 고는 2013 년에 빅 데이터 기술 산업에 대 한 자신의 견해를 설명. 첫 번째 부분은 마틴 Willcox의 인터뷰 전문입니다.

SAP 믿는 그것의 메모리 데이터베이스 장치 하나 변화를 리드 하는 기술. 메모리 기술에 어떻게 생각 하십니까?

Willcox: 업계에 대 한 두 개의 아이디어가 있다: SAP 생각 메모리에 모든 데이터를 보관 한다; 다른 사람 생각 하는 그래서 경제적으로 실현 가능한 메모리에 모든 데이터를 저장 하는 메모리의 단위 비용 데이터 용량의 성장을 수용할 수 없습니다. 후자의 보기에서 고전적인 구조에 다른 저장소 메커니즘을 결합 해야 합니다.

Teradata는 또한 "당신은 메모리에 모든 데이터를 저장할 수 없습니다" 하지만 우리와 다른 공급 업체의 차이 우리가 계층 구조에서 데이터 이동을 자동화 하 다중 (따뜻한 것과 차가운 데이터) 모델을 사용 하는 생각. 이것은 우리가 Teradata 지능형 메모리 기술 전화입니다.

어떻게 당신이 지능적으로 '빅 데이터' 처리 구현?

Willcox: 일부 공급 업체는 실수로 큰 데이터 균질 문제 임을 믿습니다. 우리 두 쌍 두 모델 두 개의 좌표에 분할을 사용 하 여: x 축 데이터 구조는 왼쪽은 간단한 구조, 오른쪽은 여러 구조 이며 y에 다음 컬렉션 기반 분석, 경로 또는 그래프 분석 등 비 전통적인 분석 이다.

후자는 자연스럽 게 반복입니다. 예를 들어 판매 데이터에 대 한 포괄적인 분석을 수행: ' 바나나와 판매 하는 최고의 제품은 무엇입니까? ' 고전적인 질문 이다. 내가 물어보고 싶은 경우: ' 바나나와 우유를 판매 하는 최고의 제품은 무엇입니까? ' 그것은 전통적인 데이터베이스 관리 시스템에이 문제를 분석 하 고.

그래프의 처리에서 노드 관계에 우리의 접근 또한 용이 하 게 기반 분석 집계는 개인 소셜 네트워크의 영향을 결정 하는 데 사용할 수 있는 예입니다.

따라서, 새로운 유형의 분석을 수행 하기 위해 새로운 데이터는 중요 한 데이터를 가져올 수 있다. 그렇지 않으면, 그것은 단지 용어입니다.

무슨 동향 당신은 큰 데이터와 관련 된 지난 1 년간 고객 데이터베이스에서 발견?

Willcox: Asterdata 또는 Hadoop과 같은 대형 데이터베이스 기술을 전 세계 확산 되 고, 하는 동안 대부분의 고객이 아직도 보고 있다.

일부 통신 고객의 네트워크 데이터 및 고객 데이터를 이해 하 고 싶은 몇 가지 흥미로운 테스트 수행 됩니다. 데이터를 이동 하는 것입니다 더 나은 이해 하는 또 다른 영역 그리고 Asterdata, Hadoop, 및 sql-h는 모두이 지역에서 사용 된다. 그 중 Sql-h에서는 업계를 사용 하 여 Hadoop 분산 파일 시스템 (HDFS) 실행 분석에 대 한 표준 SQL.

그것은 잘 알려진 기술 분야에서 몇 사람들이 기술 외부 전문의 좁은 분야 그들의 이해할 수 있다입니다. 업계는 과거에 해결 하는 문제를 설명 하는 것을 매우 잘한다 되지 않았습니다. 많은 사람들이 원래 솔루션을 실현 하는 새로운 기술을 사용 하는 찾을 수 있습니다. 일부 Hadoop 지지자는이 일부 책임을 다 한다. 일부 (모두) 그들의 확실히 이해 하지 어떻게 구조화 된 데이터 관리. 여기에 반복적인 일을 많이 있다.

일반적인 데이터 웨어하우스 역할에 대 한 새로운 큰 데이터-기술 공급 업체의 몇 가지 물어, 그들은 종종 '그들은 여전히 가치가 있어' 라고.

Willcox: 예, 이름은 비! 그것은 아직도 기초 이다. 새로운 기술 중 일부는 매혹적인, 하지만 일부 지지자 라고 그들은 파일 기반 및 특정 응용 프로그램 관련 데이터 처리, 지난 세기의 60-70 년 같은 것 같습니다.

이것은 우리가 그것을 달성 하는 방법입니다. 그것은 대형 데이터베이스 중복 및 불일치를 만듭니다. 복잡 한 데이터를 가진 큰 조직 이며 그래서 우리는 관계형 데이터베이스 관리 시스템을 발명. 우리 데이터 품질과 일관성을 보장 하는 것이 서비스 데이터베이스 관리 시스템 레벨의 추상화는 모든 개발자가 데이터 무결성에 대 한 책임 문제를 해결 도움이 발견.

지난 30 년 동안, 조직의 스타일 변경 되지 않았습니다. 데이터 품질, 데이터 일관성, 메타 데이터 관리 시스템에 대 한? 만일 당신이 그냥 과학 프로젝트를 하 고, 그것은 문제가 되지 않을 수 있습니다 하지만 학문의 세계를 두고에 게 보고 하는 데 필요한 규제 당국, 데이터와 데이터 품질 매우 중요 하다.

어떤 사람들은이 새로운 회사 엔지니어링 방법의 30 년의 왼쪽된 아래 모서리에 있는 두 개의 구조의 두 쌍을 대체할 것 이다, 나는 가능 하다 고 생각 생각. 그러나, 그들은 구조 데이터 및 비 전통적인 분석에 일부 영향을.

아무 기술 4 모든 측면을 커버 할 수 있다-그래서 우리는 통합된 데이터 아키텍처를 제안 하 고.

(책임 편집기: 루 광)