"선구자" 시민 소프트웨어 큰 데이터 기술 플랫폼을 프로세스와 임 팔 라 진짜 전투 공유를 만들 수

시민 데이터 Liu 청중의 인터뷰에서 그는 현재 큰 데이터 도메인 엔터프라이즈 수준의 시장 의존 했다 기술에는 게임의 높은 수익을 얻기 위해 독점은 오래 된, 기술의 비용 감소를 계속 것입니다, 이것은 일반적인 추세, 시장 거에 표시 됩니다 기술은 매우 좋은, 하지만 더 나은 서비스 회사 이다. 사용자의 관점에서 사용자의 첫 번째 관심사는 데이터 값을 확인 하는 방법 다음 솔루션에 따라 다릅니다 어떤 유형의 기술에 빠르게 적용할 수 있습니다, 여부 여부 다음 가능한 확장, 상대 기술 1th에 적응할 수 있는 더 어렵습니다.

사실, 오늘 특히 큰 데이터 기술 분야에서에서 기업 고객 이지만 장기적인 파트너 필요. 그들은 뿐만 아니라 기술 집약적인 제품, 또한 공부를 큰 데이터 기술 전문가 함께 작동 하도록 필요를 구입할 필요가 어떻게 데이터를 재생 값, 사용 기업 기존 비즈니스와 기술 회사의 풍부한 경험 충돌, 탐험 새로운 데이터 응용 프로그램 시나리오는 고객 요구 가장, 또한 데이터는에 좋은 시민. 다음 단계 사용 하 여 어떤 기술 시나리오를 고려 하는. 경험이 큰 데이터 회사만 큰 데이터를 다루는 아니다, 그리고 그것은 기업 고객 데이터를 찾을, 데이터, 다음 적절 한 데이터 모델을 통합 하 고 프레 젠 테이 션, 고려 도움을 줄 수 및 마지막으로 엔터프라이즈 운영 데이터-결정 만들기 양성 닫힌된 루프의 형성의 일상적인 의사 결정에 반영 해야.

시민 데이터는 오픈 소스 안 하지만 독립적인 연구 및 개발 경로 준수 하는 방법, 그들은 또한 솔루션을 제공 하는 제품을 제공 합니다. 주요 배포판, 시민의 큰 데이터 기본 플랫폼 남아 완전히 표준화 된 오픈 버그 수정 추적 및 추적, 패치를 위한 주요 플랫폼 호환 있어야 큰 데이터 플랫폼 버전 검증의 안정적인 발표 다양 한 구성 요소 종속성을 해결. 플랫폼에 대 한 시민 소프트웨어 큰 데이터 기술 건물의 특정 프로세스에 대 한, 우리 시민 소프트웨어 기술 관리자 리 우 청중 인터뷰, 다음은 인터뷰 기록.

시민 소프트웨어 기술 관리자 리 우 청중

는

CSDN: 먼저 소개 자신 시민 데이터, 현재 기술 팀 상황 이란 무엇입니까?

Liu 청중: 내가 2008 vm 웨어 중국 연구에 4 년 이상 개발 작업 Beihang 대학 컴퓨터 학과에서 졸업 할 네트워크 가상화 및 가상 컴퓨터 온라인 마이그레이션 최적화 작업, 다음 국내 최고의 광고 기술 회사 초침 시스템은 현재 연구 및 개발 매니저로 시민 데이터에에서 분산된 시스템의 디자인에 대 한 책임 대용량 데이터 기술 플랫폼의 개발을 담당 합니다. 시민 데이터는 새로운 로컬 큰 데이터 기술 회사, 우리의 핵심 기술 팀은 기본적으로 컴퓨터, 수학 및 정보학 배경, 90% 대학 졸업생 들이 국내외에서 라고 할 수 있다 국내 대형 데이터 기술 회사의 높은 밀도 해야 같은 칭화, Beida, Beihang, Bupt, USTC, CMU, 보다 더 많은.

CSDN: 현재, 엔터 프 라이즈-클래스 대규모 데이터 응용 프로그램, 구현 및 필드, 국내 및 해외 시장 상황의 분석에? 어떤 시민 데이터의 위치입니다? 고유한 장점은 무엇입니까?

Liu 청중: 일반적인 데이터 응용 프로그램 분석이이 조각, 기본적으로 IBM, HP, 오라클, 독립형에 근거 하는 등 글로벌 소프트웨어 거 인 그리고 확장 가능한 솔루션 성능에 초점을 맞춘 솔루션 및 폐쇄-소스 기술 폐쇄 양식 기술 독점 지난 몇 년간 큰 수익을 만들었습니다. 우리가 현재 직면 하 고 기술 업그레이드 처리할 사용할 수 있는 데이터의 급증 결과로 전체적으로 사회에서 정보의 폭발에서와 양자 컴퓨터는 크게 X86 확장 프로그램이 같은 전통적인 아키텍처에 혁신적인 기본 변경 되지 않습니다. 데이터의 성장에 대처 하기 위해 선형 스케일링을 통해이 내부 연습 번성 기회를 제공 하는 Google에서 그리고 일부 야 후의 엔지니어 들이 최근 인기 있는 Hadoop 기술 경로 디자인 합니다.

기본적으로 신흥 큰 데이터 솔루션을 구축에 비교적 간단 하 고 저렴 한 분산 파일 시스템 (HDFS), 큰 데이터 이동성 비용은 높은, 핵심 포인트 중심으로 설계 된 더 나은 확장성과 전통적인 시나리오에 비해 저렴 한 비용으로 성능 혜택 및 아키텍처, 확장성을 얻을. 물론, 전통적인 소프트웨어 공급 업체는 또한 기술 트렌드에 적응 하려고, 일부 기업은 원래 제품과 Hadoop 도구, Oracle 등 통합 되며 일부 EMC와 모임의 협력 등 총 솔루션을 만드는 Hadoop 상업 출시와 함께 작동 합니다. 그래서 현재 엔터프라이즈 데이터 응용 프로그램 분석, 특히이 작품의 대화형 분석에서에서 전체 또는 전통적인 비즈니스 소프트웨어 변환 및 신흥 오픈 소스 표준 상용 제품 PK 추세에 따라. 하지만 Hadoop 커뮤니티에 따라 전체 제품 가족 추세를 형성 하는이 경로 무적, 즉 Hadoop의 기본 인프라를 재현 하 고 사람의 승인을 지원 하기 어렵다 그래서 많은 년 기적 일 주장, 난 개인적으로이 존중에 대 한 알리의 기술 팀 oceanbase를 넣을 수 있습니다.

시민 데이터 오픈 소스를 포용 하지만 독립적인 연구 및 개발 경로 준수 하는 것입니다, 그리고 우리 또한 솔루션을 제공 하는 제품을 제공 합니다. 기본 플랫폼을 완전히 유지 됩니다 시민의 큰 데이터 표준화 및 호환성 주요 배포판을 위해 열 그리고 우리는 주로 추적 하는 버그 수정 및 패치, 플랫폼에서 추적 해제 안정, 다양 한 구성 요소에 대 한 종속성 유효성 큰 데이터 플랫폼 버전 해결. 이 기초에, 우리가 제공 하는 엔터 프 라이즈-클래스 필수 기능 구성 요소를 사용, 작업 및 유지 보수 관리, 작업 관리, 사용자 감사, 액세스 보안, 액세스 제어, 실시간 분석 엔진 및 다른 핵심 구성 요소, 다른 한편으로를 포함 하 여 다양 한 최상위 응용 프로그램의 개발, 우리의 실시간 분석 엔진은 먼저 MPP 및 하이브리드 엔진의 반복 계산을 마스크 위의 응용 프로그램에 제공 하는 일관 된 SQL 아래, 다양 한 구성의 복잡성 인터페이스, 쉽게 만들고 비즈니스 사람들이 쉽게 데이터 과학자를 변환 수 있도록 모델 기차를 일반 기업 들에 전념 하는 데이터 마이닝 플랫폼 시각적 프레 젠 테이 션 플랫폼에 신속 하 게 만들 비슷한 데이터 기반 HTML5 고객 큐브 같은 보고서 도구, 데이터, 데이터 공장 전력의 직관적인 경험은 업계 최고의 대용량 데이터 실시간 증분 동기화 기능 수 있습니다. 일반적으로, 시민 고객 데이터의 값을 재생할 수 있도록 강한 상위 응용 프로그램 개발 기능 뿐만 아니라 구축, 표준화 된 플랫폼을 제공 하는 견고한 기술 기초에 기초.

그림: 시민 큰 데이터 제품 다이어그램:

에 대해 가장 우려

CSDN: 거기 일부 헤비 급 고객은 어떻게 시민 데이터 사용자 분포는?

우리가 지낸 류 청중: 사용자 금융, 소매, 통신 및 다른 분야, 중국은 련, 우편 저축 은행, CCTV, 차이나 유니콤, 통계의 국가 국, Suningyun, 궈 메이 전기 온라인, Guizhou 파워 그리드 일반 고객에 덮여 있다,이 고객은 일반적인 요점은 그들은 다양 한 데이터를가지고 추가 의사 결정 가이드를 이러한 데이터에서 정보를 수정 하는 긴급 한 필요가 있다. 일반적으로 말하자면, 고객은 두 가지 범주로 구분 됩니다, 간단한 기업 정보 아키텍처 기술 업그레이드, 우리는 큰 데이터 기술 있도록 플랫폼 제품을 제공할 것입니다 기업 업그레이드, 다른 새로운 데이터 기반 비즈니스, 필요 정보 기술 지원에 직면, 우리는 완벽 한 솔루션을 설정 하는 사업에서 시작 됩니다. 따라서, 데이터는 국가에 몇 가지 중 하나 라고 할 수 있다 시민 뿐만 아니라 대용량 데이터 플랫폼의 기초를 제공할 수 있습니다 뿐만 아니라 밀접 하 게 비즈니스를 제공 하기 위해 관련 큰 데이터 응용 프로그램, 가장 완벽 한 큰 데이터 솔루션 공급자의 상위 수준에.

CSDN: 고객의 관점에서 대부분의 질문에 대 한 우려? 그것을 어떻게 처리 합니까?

Liu 청중: 고객 데이터의 값에 대 한 첫 번째 치료 나 얼굴, 그리고 어떤 종류의 기술 솔루션에 의존, 그것은 신속 하 게, 적용 될 수 있습니다 그리고 가능한 확장 후 조정할 수 있습니다. 1th 가까이 필요 기술 보다는 비즈니스 측면, 몇 년 동안, 데이터 마이닝 응용 프로그램의 분야에 뿌리를 둔 시민의 기술 팀과 협력 기업 데이터 기반 사업을 추진, 다양 한을 실제로 할 수 있도록 경험의, 오늘날의 기업 고객 특히 신흥 기술 부문에서에서 제품을 판매 하는 회사를 원하지 않습니다 시민 이다 할 더 기꺼이 장기적인 비즈니스 파트너, 개월, 사업 함께 우리의 기술 전문가 앉아 무슨 고객이 이미, 부딪히는 고 새 데이터 시나리오를 우리가, 최고의 가치, 데이터를 확인 하는 방법 논의 그것은 또한 고객이 가장 필요로 하는 우리의 의견 에입니다.

2 기술 솔루션, 컴퓨팅, 기본 저장을 위한 대용량 데이터 베이스를 구축 하는 방법 이지만 이것은 실제 엔터프라이즈 솔루션의 유일한 부분입니다 그냥 기본 인프라. 빅 데이터 기술 고객에 착륙 하는, 수많은 숨겨진된 비용, 필요한 ETL, 운영 및 유지 보수 관리를 포함 하 여, 고려 기관 감사, 비즈니스 애플 리 케이 션, 비주얼 디스플레이, 그리고 많은 다른 링크 시민 데이터는 현재 가장 완벽 한 기술 회사에 솔루션을 제공 하기 위해 큰 데이터 데이터 마이그레이션에서 우리의 제품 커버 데이터 기본 플랫폼 데이터 마이닝 응용 프로그램, 데이터 디스플레이의 전체 스택, 혜택을 고객 서비스, 최대 일관성을 유지할 수 있을 것입니다 비용, 고객 신속한 사업 추진 가능 하 게 가장 민첩 한 방법에서 배달을 줄일 수 있습니다.

CSDN: 당신은 시민 소프트웨어에 대 한 큰 데이터 기술 플랫폼을 만드는 과정을 공유할 수 있습니까?

Liu 청중: 많은 경험, 자세한, 전체 기술 팀은 기본적으로 구 덩이에 두 번째 손을 시스템에서 왔어요 하지만 또한 ebay, 바이, 멋진이 인터넷 회사와 서 동료. 자신을 위해, 데려다 내 팀과 나 시작 2012 년에 PostgreSQL9.1 (PG)에 따라 분산된 데이터베이스 클러스터 수준을 달성 하기 위해 두 번째 쿼리 TB 데이터 대상의 그 당시 팀의 3 명, 메타 베이스, 효율적으로 클러스터를 가져오는 방법에 대 한 데이터의 디자인에 주요 초점 10 기계 수평 확장 파티션 일반적인 방법의 일부를 사용 하 여 쉽게, 하지만 sql 구문 분석 작업의 워크플로 구현 하는 파일 시스템의 기존 메커니즘의 사용은 매우 약한, 거의 간단한 SQL, 사용의 범위는 매우 제한 된 그래서.

하지만 우리 나중 해킹 Cloudera 임 팔 라, 2013 년에 아니 임 팔 라 성능 좋은 SQL 범위와 PG 클러스터에 대 한 엔진으로 임 팔 라를 사용 하 여. 2012 년 말에서 사용 하는 C + + 페이지, RABBITMQ 메시지 큐 자체 분산된 스토리지 플랫폼, 컴퓨팅 구현에 따라 다양 한 모듈 소프트웨어 지금까지 실행 한 후 줄에 아메바, 같은 이름 같은 프로그래머의 다양 한 가득 하루, 실시간 보고서 및 매일 일괄 처리 보고서 당 광고 노출의 수십억에 대 한 대규모 통계 로그 처리, 이제 폭풍과 Hadoop의 믹스 처럼 보인다.

그 당시, 템플릿 클래스 칭화 대학 졸업 지도의 매우 간결한 구현 이며 기본, 감소 그리고 우리 내장 코어 일괄 처리 모듈, 다양 한 운영 모듈을 통해 메시지 큐 흐름의이 개발에 따라 마지막 요약, 결과로 PostgreSQL 데이터베이스를 사용 하 여 그런 경험 많습니다, 2012 년에 우리가 KFS 사용 클러스터는, 많은 문제 KFS 개발 팀 발생 하지 않았습니다만 그들의 자신의 버전을 유지할 수 있습니다. 우리가 독자적으, 이러한 시스템을 개발 되었습니다 그리고 우리 노력 및 비교를 수행 하 고 안정성으로 만족 하 고, Hadoop의 디버깅 되지 Hadoop 커뮤니티의 진행에서 찾고 있 었 어 올 때까지 Hadoop2.0는 밖으로, 우리는 기술 팀은 Hadoop 커뮤니티에 제품의 다양 한 시도 행복 하 고 우리, Hadoop의 사용에 전환 시작할 수 전에 오픈 소스 표준의 추세는 형성 했다 생각 했다.

일반적으로, 우리의 기술 팀의 대부분은 비슷한 수업, 즉, 큰 데이터 기반 기술 개발 비용이 매우 높은, 그것은 매우 이러한 매우 복잡 한 시스템을 개발 하 고 성숙, 현재 오픈 소스 기술에 매우 저렴 한 것 밀접 하 게 결합 된 주류 표준 기술은 미래에 대 한 책임 있는 접근, 그것은 또한 더 안전한 시나리오 하이브 때 나온, 그리고 많은 오픈 소스 지역 사회에서 사람들이 더 나은 SQL 구문을 지 원하는 파서를 개발 했습니다 하지만이 프로젝트의 대부분 중단 2013 년 후, SQL에 대 한 지원의 예 Hive0.12, 신속 하 게, 급하게 0.13 뒷면 우리가 발견 표준 하이브를 사용 하 여 더 쉽게 하기 때문에 및 전체 에코-원 제품 시너지, 그래서 그들은 다시 설정 되어 있다. 혜택을 제공 하는 서로 다른, 같은 조직의 상호 무지 보다는 오히려 제 생각에, 오픈 소스는 비슷합니다-3 보안 문, 품질 것 들을 창조 하는 함께 우리는 전화의 기술 방향의 하위 제거 되 고의 위험의 기술 업그레이드 후 크게 감소 된다.

그래서 시민, 우리 비즈니스 서비스 제공, 고객 라인에 이러한 대규모 정보 아키텍처 시스템 무엇 위험은 우리의 첫 번째 고려 요소, 폐쇄-소스 비즈니스 소프트웨어 손실의 많은 년 고객 이해는 제조업체의 플랫폼에 잠겨있을 수 있습니다 그래서, 다른 플랫폼을 변경 하려면 해야 얼굴을 과거, 원활 하 게 전환할 수 이 우리가 우리의 고객에 게 업계 표준 일반적인 기술 아키텍처를 제공 합니다, 그리고 우리의 독립적인 연구 및 개발 제품 플랫폼에 기능 추가 보다는 적극적인 수정, 전반적인 이동성 하지 영향을 기술 업그레이드 뒤에 고객 혜택, 위험을 감소. (다음 페이지로 이동)

중국의 대형 데이터 수상 조사 활동, 23 응답 질문에에서 참여 해야한다 2700 원 수상 (10 총)의 가장 높은 값을 가져오는 기회 CSDN 초대 그것에 참여 하도록 속도!

중국 대형 데이터 기술 컨퍼런스 (기술 컨퍼런스 2014, 2014 BDTC) 개최 됩니다 크라운 프라 자 베이징 새로운 운에서 2014 년 12 월 12 일 14. 유산 후 7 강 수, "중국의 큰 데이터 기술 컨퍼런스" 2008 년 이후 현재 가장 영향력 있는, 가장 큰 대규모 데이터 필드 기술 이벤트입니다. 이 세션에만 수 없습니다 이순신 Liu와 Apache Hadoop Tez 프로젝트 관리 위원회 Bikas 위원 Apache Hadoop 제출자 uma maheswara Rao G (프로젝트 관리 위원회의 회원)에 대해 배울 수 없습니다. 사 및 일반 대용량 데이터의 다른 공유 Tencent, 알리, Cloudera, 링크 드 인, NetEase 및 기타 기관에서 드라이 제품의 수십의 공유 뿐만 아니라 최신 성과 및 개발 동향의 소스 프로젝트를 엽니다. 제한 된 티켓 할인에 대 한 사전 예약이 촉진 됩니다.