"Bdtc 몰래 엿보기" Shao: Dropbox 시스템 작업을 해결 하기 위해 큰 데이터를 사용 하 여

2014 년 12 월 12-14, CCF 큰 데이터 전문가 위원회, 중국 과학 아카데미 및 CSDN 공동 주최자 2014 중국 큰 데이터 기술 컨퍼런스 (다 데이터 기술 회의의 중국 컴퓨터 학회 (CCF)에 의해 호스팅 2014, BDTC 2014는 크라운 프라 자 호텔, 새로운 운 남, 베이징에서 열릴 것 이다. 총회 산업 응용 프로그램. "큰 데이터 인프라", "큰 데이터 생태계", "큰 데이터 기술", "대규모 데이터 응용 프로그램", "큰 데이터 인터넷 금융 기술", "지능 정보 처리" 및 많은 다른 테마 포럼 및 업계 정상을 설정 하려면 큰 데이터 기술의 개발을 촉진 하는 3 일을 지속 한다. 중국 컴퓨터 학회, 전문가의 CCF 큰 데이터 위원회 주최 "2014 두 번째 CCF 큰 데이터 학술 회의"의 공동 주최자와 난징 대학 또한 소집 될, 그리고 보고서의 테마를 공유 하는 기술 회의.

최고의 전문가 일선 실무자 거의 100 외국 데이터 기술 분야에서 OSS, 원사, 스파크, Tez, HBase, 카프카, oceanbase의 최신 개발을 논의 하기 위해 회의 초대 것 등, Nosql/newsql, 메모리 계산 흐름 계산 및 그래프 컴퓨팅 기술, 대용량 데이터 컴퓨팅 요구, 및 큰 데이터 시각화, 기계 학습/깊이 학습, 비즈니스 인텔리전스, 데이터 분석, 최신 산업 응용 프로그램, 실제 생산 시스템의 기술적 특성 및 실용적인 경험을 공유에 대 한 OpenStack 생태계의 개발 추세 합니다.

회의 CSDN 및 회의 "큰 데이터 응용 프로그램" 포럼 스피커 Dropbox 연구 및 개발 관리자 Shao 간단한 통신 하기 전에 세계의 최고의 클라우드 스토리지와 공유 플랫폼, Dropbox는 시스템의 안정성에 대 한 매우 높은 요구 하고있다. 좋은 모니터링 시스템 엔지니어의 삶과 작품의 품질을 개선할 수 있습니다. Shao 기존 모니터링 시스템은 대규모 모니터링 두 가지 문제가 있다: 확장성과 유용성. 일반적인 큰 데이터 모니터링 시스템 아키텍처를 비교 하 여 Dropbox, 하이브리드 아키텍처는 최대 확장성을 달성 하기 위해 제안 합니다. Shao 12 월 14 일 Dropbox의 통합 사례와 세부 "2014 중국 큰 데이터 기술 컨퍼런스"에서 다음 단계를 공유할 것입니다. 자세한 내용은 여기를 클릭 가입!

Shao

Dropbox 연구 및 개발 관리자

Shao는 Dropbox, 미국 클라우드 스토리지 회사 및 프로젝트 큰 데이터 오픈-소스 플랫폼 Hadoop의 관리 위원회의 구성원에 대 한 연구 및 개발 관리자입니다. Shao 3 월 2014, 분산된 데이터베이스 저장소 및 시스템 모니터링에 대 한 책임에 Dropbox를 합류 했다. 앞서, Shao 초기 중국 엔지니어 및 엔지니어링 매니저, 페이스 북의 고 ROCKSDB 프로젝트 페이스 북에 참여 하 고 개발 및 하이브, 학자, 푸 마, MYSQL, 대규모 응용 프로그램에 대 한 책임 6 년 동안 일 했습니다. Shao 경영 공학 및 컴퓨터 과학 UIUC에서 석사 학위와 칭화 대학에서 컴퓨터 과학 학사 학위는 스탠포드 대학에서 과학 석사 학위. Shao는 TopCoder 그, 구글 코드 잼 결승전, ACM/ICPC Finals2001 11 곳, IOI 1999 금메달을 비롯 한 국제 프로그래밍 대회에서 상을 수 상했다.

Shao 다음과 같이 성적표를 인터뷰:

CSDN: 대용량 데이터 기술 회사에서 사용한 있다? 이러한 기술 및 당신은 어디 불만족 만족 이란 무엇입니까?

Shao: Dropbox를 사용 하 여 다음과 같은 큰 데이터 관련 오픈 소스 프로젝트: Hadoop (HDFS와 지도 감소), 하이브, 학자, HBase, 카프카, 프레스 토, Zipkin. 우리는 기술의 대부분 더 만족, 안정성에 주요 불만 신속 하 게 해결 하는 방법의 문제입니다.

CSDN: 이해, 현재 비슷한 기업 데이터에 발생 하는 가장 큰 어려움에 따라?

Shao: 과제는 다음 세 가지 영역에 존재 하 고:

소프트웨어의 관점에서

, 오픈 소스 소프트웨어의 대부분은 성능 보다는 안정성에 너무 많이 강조 하지만, 충분히 성숙 하지. 이 더 독점 시스템을 양산 하고있다 그리고 다른 한편으로, 오픈 소스 소프트웨어에 대 한 컨설팅 시장이 훨씬 더 큰 되고있다. 하드웨어 관점에서 클라우드 플랫폼은 점점 더 사용, 그들의 자신의 데이터 센터에 있는 전통적인 배포는 점점 부족 하는 동안. 배포의 어려움 때문에 큰 데이터 플랫폼 전송 됩니다 클라우드로 더 신속 하 게. 사용자의 관점에서 가장 큰 어려움은 사용의 용이성과 투명성. 많은 큰 데이터 기술 너무 낮은 수준의 문제를 직접 해결 하는. 그것은 개발자가 큰 데이터 플랫폼에서 개발을 계속 하는 것이 중요입니다.

CSDN: 일부 기술을 보고 하 고 큰 데이터 영역, 그리고 왜 당신이 그들을 낙관에 공부는 무엇입니까?

Shao: 우리는 현재에 초점을 맞추고 다음 기술:

불꽃, sparksql는 적합의 응답 속도 개선 데이터 웨어하우스, Elasticsearch의 작업 효율 컬렉션, 인덱싱 및 쿼리 반 구조화 된 데이터, Opentsdb 및 Influxdb의 적합 및 수집 및 운영 데이터의 저장에 적합, Grafana 운영 데이터의 시각화를 위해 적당 한.

CSDN:이 회의에서 공유 하려고 하는 주제에 대해 이야기 하십시오.

Shao: 당신과 함께 공유할 수 있는 항목은 Dropbox 작업 분야에서 큰 데이터의 응용 이다. 우리 운영 차원 할 큰 데이터의 사용은 매우 중요 한 이유를 소개 하는 첫째, 산업, 그리고 우리 현재 상황 뿐만 아니라 것입니다 보다 일반적인 사용 큰 데이터 아키텍처의 작업을 수행 하 고 앞으로 Dropbox 시스템 아키텍처, 넣고 마지막으로 이런 맥락에서 우리 회사를 소개 계획의 다음 단계.

CSDN: 어떤 청취자 최고의이 주제를 알고 있어야 합니까? 당신은 어떤 주제를 귀하의 청중 문제를 해결할 수 있도록 공유할 수 있습니까?

Shao: 대용량 데이터 응용 프로그램에 집중 하 고 시스템 운영 엔지니어에 초점을 맞추고는 엔지니어.

국가 대형 데이터 혁신 프로젝트 선택 활동은 지금 풀 스윙, 세부 여기를 클릭.

2014 중국 큰 데이터 기술 회의 (기술 컨퍼런스 2014, 2014 BDTC)는 14 크라운 프라 자 호텔, 새로운 운 남, 2014 년 12 월 12 일에 개최 됩니다. 유산 후 7 강 수, "중국의 큰 데이터 기술 컨퍼런스" 2008 년 이후 현재 가장 영향력 있는, 가장 큰 대규모 데이터 필드 기술 이벤트입니다. 이 세션에만 수 없습니다 이순신 Liu와 Apache Hadoop Tez 프로젝트 관리 위원회 Bikas 위원 Apache Hadoop 제출자 uma maheswara Rao G (프로젝트 관리 위원회의 회원)에 대해 배울 수 없습니다. 사 및 일반 대용량 데이터의 다른 공유 Tencent, 알리, Cloudera, 링크 드 인, NetEase 및 기타 기관에서 드라이 제품의 수십의 공유 뿐만 아니라 최신 성과 및 개발 동향의 소스 프로젝트를 엽니다. 현재 티켓 구매에 대 한 몇 가지 할인 티켓을 확인 하 고 있습니다.

"CSDN 큰 데이터" 마이크로-편지 공개 번호, 실시간의 이해 최신 큰 데이터 진행에 무료 가입!

CSDN 큰 데이터를 큰 데이터 정보, 기술 및 경험 공유 및 토론, Hadoop, 스파크, 임 팔 라, 폭풍, HBase, MongoDB, SOLR, 기계 학습, 지능형 알고리즘 및 기타 관련 큰 데이터 뷰, 대용량 데이터 기술, 대용량 데이터 플랫폼을 제공 하기에 초점 큰 데이터 연습, 큰 데이터 산업 정보 및 다른 서비스.