TDW 및 PostgreSQL 데이터 액세스 기능

첫 번째, 오픈 소스 프로젝트 TDW 소개

Tencent 배포 http://www.aliyun.com/zixun/aggregation/8302.html "> 데이터 웨어하우스 (Tencent 분산,이 TDW이 라고도 하는 창 고) Tencent 엔지니어링 및 기술 기업 그룹 데이터 플랫폼 오픈 소스 소프트웨어의 연구와 개발 둡, 하이브, PostgreSQL에 연구와 개발, 그리고 큰 처리 플랫폼에 사용자 지정 및 최적화의 많은 오픈 소스 소프트웨어 기초를 기반으로 합니다. 현재, TDW Tencent, Tencent의 다양 한 제품의 데이터에 초점을 맞추고 하 고 제공 하는 많은 데이터 저장 및 Analysis Services Tencent, 데이터 마이닝, 제품 보고서, 분석 및 기타 서비스 등의 다양 한 제품에 대 한 내 가장 큰 분산된 시스템 이다.

Tencent의 오픈 소스 소프트웨어, 코드의 첫 번째 일괄 처리로 TDW SDN C + + 코드 플랫폼 호스팅

2, TDW PostgreSQL 상호 액세스 기능: 더 높은 레벨로 TDW 확인 기능

오프 라인 데이터 분석 시스템으로 TDW 병렬 컴퓨팅에 의해 대규모 데이터 처리에 좋은 성능 이점이 있다. 하지만 우리가 아는 한, 모든 시스템을 사용 하 여 모든 해결 문제는 일반적으로 현실, 동일, TDW 또한 그 단점이 있다, 작은 데이터 처리 성능, 업데이트/삭제 성능, 인터페이스입니다 하지 풍부한.

따라서, 강력한 오픈 소스 데이터베이스 PostgreSQL, 소개 그리고 TDW 데이터에 액세스할 수 있도록 확장 작동 일부 TDW에 새로운 저장소 엔진 개발 했습니다, 그리고 우리는 Pgdata 저장소 엔진, 전화 TDW를 읽고 PostgreSQL에 데이터를 쓸 수 있습니다.

TDW 및 PostgreSQL 액세스 기능 실현 강력한 보완 TDW 다음 3 포인트에서 구현 하는:

1. 짧은 보드 부자가 아닌 TDW 인터페이스를 구성 하

TDW 부족 표준화 된 jdbc/odbc 프로그래밍 인터페이스는 풍부한, PostgreSQL는 JDBC/ODBC, 셸, C 언어를 다양 한 인터페이스를 제공 하는 강력한 커뮤니티 + +, C#, 파이썬, 펄, 사용자는 이러한 풍부한 인터페이스와 PostgreSQL TDW 브리징 도구 Tdwlink 우리가 개발 통해 TDW에서 데이터를 액세스 합니다.

2. 메이크업 TDW 작은 데이터 분석 효율성 짧은 보드의 하단에 대 한

TDW 대량 데이터 처리에서 그것은 병렬 실행의 장점을 재생할 수 있습니다. 하지만 작은 데이터 분석에 대 한 그것의 성과 전통적인 db 열 등. PostgreSQL, 10GB, 더 나은 성능 및 시간 내 데이터 분석에 대 한 응답 얻어질 수 있다, 일반적으로 두 번째 수준에서 결과 반환와 TPG는 TDW 분 응답에 비해이 시나리오에는 이점이 있다.

3. TDW pgdata 스토리지 엔진으로 만회 짧은 보드의 tdw 업데이트/삭제 효율

TDW 데이터 웨어하우징 시스템, 레코드 수준 업데이트/삭제 지원으로 매우 좋지 않다. TDW에 레코드 수준 업데이트/삭제 데이터의 삭제도 의미는 전체 테이블을 다시 발생할 수 있습니다, 전체 테이블의 재정의 시스템 리소스가 많이 소모 될 수 있습니다. TPG는 전통적인 데이터베이스, 레코드 수준 업데이트 및 삭제 효율은 매우 높다.

TDW 생물권에 PostgreSQL 시스템의 위치는 다음 다이어그램에 표시 된와 TPG 확장된 PostgreSQL에 대 한 우리의 이름 중 하나입니다.

아래 우리는 분할 한 소개를 할 TDW 함수의 교환의 PostgreSQL의 두 부분으로 즉, Pgdata 저장소 엔진 및 Tdwlink 기능.

원본 링크: http://code.csdn.net/news/2820079