"Bdtc 몰래 엿보기" 조셉 매튜 스: 생산 및 생활 교통 정보 큰 데이터의 혜택 하는 방법

2014 년 12 월 12-14, CCF 큰 데이터 전문가 위원회, 중국 과학 아카데미 및 CSDN 공동 주최자 2014 중국 큰 데이터 기술 컨퍼런스 (다 데이터 기술 회의의 중국 컴퓨터 학회 (CCF)에 의해 호스팅 2014, BDTC 2014는 크라운 프라 자 호텔, 새로운 운 남, 베이징에서 열릴 것 이다. 총회 산업 응용 프로그램. "큰 데이터 인프라", "큰 데이터 생태계", "큰 데이터 기술", "대규모 데이터 응용 프로그램", "큰 데이터 인터넷 금융 기술", "지능 정보 처리" 및 많은 다른 테마 포럼 및 업계 정상을 설정 하려면 큰 데이터 기술의 개발을 촉진 하는 3 일을 지속 한다. 중국 컴퓨터 학회, 전문가의 CCF 큰 데이터 위원회 주최 "2014 두 번째 CCF 큰 데이터 학술 회의"의 공동 주최자와 난징 대학 또한 소집 될, 그리고 보고서의 테마를 공유 하는 기술 회의.

최고의 전문가 일선 실무자 거의 100 외국 데이터 기술 분야에서 OSS, 원사, 스파크, Tez, HBase, 카프카, oceanbase의 최신 개발을 논의 하기 위해 회의 초대 것 등, Nosql/newsql, 메모리 계산 흐름 계산 및 그래프 컴퓨팅 기술, 대용량 데이터 컴퓨팅 요구, 및 큰 데이터 시각화, 기계 학습/깊이 학습, 비즈니스 인텔리전스, 데이터 분석, 최신 산업 응용 프로그램, 실제 생산 시스템의 기술적 특성 및 실용적인 경험을 공유에 대 한 OpenStack 생태계의 개발 추세 합니다.

이 회의 CSDN 및이 회의 "응용 프로그램 데이터 큰" 스피커 소프트웨어 주식 회사 데이터의 그 자신의 큰 데이터 기술 연습에 조셉 매튜 스 건축가, 전에 큰 데이터 기술 동향 및 교통 정보에 큰 데이터 응용 프로그램에 대 한 그의 판단 간단한 의사 소통을 했다.

그 하나는 공부 지도 탐색 및 중국에서 교통 정보를 첫 번째 회사의 현재 가장 포괄적이 고 완벽 한 교통 정보 수집 및 분배 시스템, 산업 택시와 공공 데이터의 위치를 반환 받은 수십억 킬로미터의 수백만의 수백의 마일리지 축적, 그들은 저장, 처리 및 이러한 데이터의 응용 프로그램에서 경험을 많이 축적. 조셉 매튜 스 12 월 14 일에 있을 것입니다 "2014 중국 큰 데이터 기술 컨퍼런스" 당신과 공유 하 고 드라이 상품의 더 많은 트래픽 데이터 교환! 등록 하려면 여기를 클릭!

조셉 매튜 스 소프트웨어 (주) 데이터 건축가

2008은 베이징 대학교, 바이 두와 금 작품에 연속적으로에서 졸업 했다. 바이 바이 기본 KV 스토리지 시스템, OLAP 데이터 웨어하우스, 사용자 프로 파일 창 고 및 피닉스 둥지, 네트워크 얼라이언스, 검색 및 기타 핵심 비즈니스 데이터 기반 마련, 개발 연습에 큰 데이터; 네트워크 탐색 서비스에 참가 하는 높은 독일 합류 후 풍부한 경험을 축적은 다른 프로젝트에 참가 교통 정보 처리 및 응용 프로그램, 프로젝트는 주로 설계 및 큰 데이터 아키텍처 및 트래픽 데이터 마이닝 및 분석, 개발 주도 높은 골드 교통 정보 데이터 웨어하우스 및 데이터 개발 플랫폼, 그리고 새로운도 식별도 속성 수정 및 다른 생산 프로젝트의 교통 정보 데이터 응용 프로그램을 구축 하는 팀 2014-독일어 트래픽 보고서를 일으키는 광범위 한 미디어 보급의 생산. 때 그는 알리에 합류, 그는 클라우드 컴퓨팅 알리의 클라우드 플랫폼을 이동 팀을 리드 하기 시작 했다.

CSDN: 대용량 데이터 기술 회사에서 사용한 있다? 이러한 기술 및 당신은 어디 불만족 만족 이란 무엇입니까?

조셉 매튜 스: 우리 사용 하 둡, 하이브, HBase, FLUME, 카프카, 폭풍 및 기타 기술 장점이 반복 하지 않습니다, 대규모 데이터 스토리지 및 컴퓨팅 문제를 해결 하기 위해 마스터 다른 언어 프로그래머, 몇 가지 포인트에 주로 불만된을 미스터 쉬운 방법 스트리밍:

1 인증 기관 관리는 너무 복잡 하 고, 또는 너무 단순, 인증 기관 보안 문제가 많이 발생 하는 연습으로 정말 빠지지 않았다.

2 flume 로그 수집 안정, 압력 및 데이터 손실 또는 중복에 자주 발생 하는 비정상적인 문제 아니다.

3 하이브 시스템 여전히 버그, 있으며 대규모 데이터에서 생성 된 데이터의 일부 하지도 검출 될 수 있다.

현재, 우리 Aliyun Odps, ots, timetunnel 및 기타 인프라를 사용 하기 시작 하 고 알리의를 사용 하 여 전체 분산 스토리지 컴퓨팅 리소스, 장점은:

1 오른쪽 관리는 더 완벽 한

2 데이터 수집 매우 편리 하 고, 그리고 다른 시설에 알리의 쉽게 도킹 될 수 있습니다.

3 흐름 형 프레임 워크 간체 비즈니스 통계의 많은 컴퓨팅

하지만 몇 가지 단점이 있습니다.

보안을 위해 1 ODPs 추가 더 제한, hadoop 자유.

2 ODPs 데이터 구조에 대 한 지원과 구문은 하이브 보다 약한

CSDN: 이해, 현재 비슷한 기업 데이터에 발생 하는 가장 큰 어려움에 따라?

조셉 매튜 스: 나는 주요 데이터 어려움은 주로 다음과 같이 생각 한다:

1 대용량 데이터 플랫폼의 운영 현재 분산 시스템 재해 복구 및 노력, 많은 이전에 그러나 아직도 실패 하는 경향이 시스템의 안정성을 유지 하기 위해 이러한 문제를 해결 하는 방법 이다 아직도 문제가 매우 복잡 한 작업입니다.

2 분리와 자원의 공유는 항상 모순, 어떻게 충족 하 고는 이제까지 확장 컴퓨팅 및 스토리지 관리자의 능력을 테스트 해야 하 고 개발자, 비용의 측정 출력 효율은 여전히 제품 설계 및 개발의 전체 과정.

CSDN: 일부 기술을 보고 하 고 큰 데이터 영역, 그리고 왜 당신이 그들을 낙관에 공부는 무엇입니까?

조셉 매튜 스: 우리의 주요 초점은 다음 기술:

1 진화 및 개발의 방향 NoSQL 저장소. 지난 1 년, Google 발표 그것의 스 패너 종이 보고 sql 경계 모호 하 게 NoSQL 저장소의 방향으로 지적, 기존 NoSQL 시스템 기능 및 성능, 전에 후자를 선택 하지만 개발자는 분산 트랜잭션과 같은 기능에 대 한 필요가 없습니다 의미 하지는 않는다 종종 비슷한 맞게 개발 반복 후자의 필요를 달성 하기 위해 필요 합니다.

2 실시간 쿼리 같은 임 팔 라 시스템 진화, 많은 경우에, 응답 시간 결정 생산성, OLAP 분석에 항상 미리 모델에 의존 하지 않을 수 있습니다.

3. 기계 학습 기술 학습, 대용량 데이터의 미래 가치가 항상 있다.

CSDN:이 회의에서 공유 하려고 하는 주제에 대해 이야기 하십시오.

조셉 매튜 스: 무작위 도시 자동차 증가, 점점 더 많은 도시는 "혼잡" 시대를 입력 하기 시작 했다. 쉽게 탐색 지도 실시간 교통 정보 지원 없이 여행 하는 방법. 나는 주로 생산 및 큰 데이터 응용 프로그램의 수명에서 교통 정보 공유. 굴드는 현재 산업 및 GPS 데이터를 반환 하는 공용 사용자의 전국 범위를가지고 우리가 어떻게 그들이 무엇을 생산 하는이 데이터를 사용 하 여 값, 골드 트래픽 보고서에 발표.

CSDN: 어떤 청취자 최고의이 주제를 알고 있어야 합니까? 당신은 어떤 주제를 귀하의 청중 문제를 해결할 수 있도록 공유할 수 있습니까?

조셉 매튜 스: 중국의 도시 교통 및 지리적 정보 데이터에 관심이 있는 청중에 게 어떤 도움을 제공 하 고 싶습니다 그리고이 공유 트래픽 데이터 우리 여행 문제도 혼잡의 법률 및 원인 해결을 도울 수 있는 방법 알고 관객이 게 할 것 이다.

중국의 대형 데이터 수상 조사 활동, 23 응답 질문에에서 참여 해야한다 2700 원 수상 (10 총)의 가장 높은 값을 가져오는 기회 CSDN 초대 그것에 참여 하도록 속도!

국가 대형 데이터 혁신 프로젝트 선택 활동 풀 스윙에도, 자세한 내용은 여기를 클릭 하십시오.

2014 중국 큰 데이터 기술 회의 (기술 컨퍼런스 2014, 2014 BDTC)는 14 크라운 프라 자 호텔, 새로운 운 남, 2014 년 12 월 12 일에 개최 됩니다. 유산 후 7 강 수, "중국의 큰 데이터 기술 컨퍼런스" 2008 년 이후 현재 가장 영향력 있는, 가장 큰 대규모 데이터 필드 기술 이벤트입니다. 이 세션에만 수 없습니다 이순신 Liu와 Apache Hadoop Tez 프로젝트 관리 위원회 Bikas 위원 Apache Hadoop 제출자 uma maheswara Rao G (프로젝트 관리 위원회의 회원)에 대해 배울 수 없습니다. 사 및 일반 대용량 데이터의 다른 공유 Tencent, 알리, Cloudera, 링크 드 인, NetEase 및 기타 기관에서 드라이 제품의 수십의 공유 뿐만 아니라 최신 성과 및 개발 동향의 소스 프로젝트를 엽니다. 현재 티켓 구매에 대 한 몇 가지 할인 티켓을 확인 하 고 있습니다.

"CSDN 큰 데이터" 마이크로-편지 공개 번호, 실시간의 이해 최신 큰 데이터 진행에 무료 가입!

CSDN 큰 데이터를 큰 데이터 정보, 기술에 집중 하 고 경험을 공유 하 고 토론, Hadoop, 스파크, 임 팔 라, 폭풍, HBase, MongoDB, SOLR, 기계 학습, 지능형 알고리즘 및 기타 관련 큰 데이터 뷰, 대용량 데이터 기술, 대용량 데이터 플랫폼, 대용량 데이터 연습을 제공 하 큰 데이터 산업 정보 및 기타 서비스.