중국의 대형 데이터에 6 개의 주요 기술 변화에 대 한 참고

설정된 "Hadoop 중국 클라우드 컴퓨팅 컨퍼런스"와 "CSDN 대용량 데이터 기술 컨퍼런스"는 큰, 연속 중국 큰 데이터 기술 컨퍼런스 (BDTC)의 본질 국내 사실상 업계 최고의 기술 이벤트로 개발 했다. 현재 수천 2008 60 남자 둡 살롱에서의 사람 기술 축제, 업계는 전문적인 Exchange 플랫폼의 매우 실질적인 가치 큰 데이터 기술, 업계 경험의 침전의 분야에 충실 하 게 묘사 하는 중국의 큰 데이터 기술 회의의 각 세션 목격 전체 큰 데이터 에코 원 기술 개발 및 진화.

2014 년 12 월 12-14, 여는 중국 컴퓨터 학회 (CCF), CCF 큰 데이터 전문가 위원회, 후원 CSDN 과학의 중국 아카데미 공동 2014 중국 큰 데이터 기술 컨퍼런스 (다 데이터 기술 컨퍼런스 개최 2014, BDTC 2014는 크라운 프라 자 호텔, 새로운 운 남, 베이징에서 열릴 것 이다. 총회 산업 응용 프로그램. "큰 데이터 인프라", "큰 데이터 생태계", "큰 데이터 기술", "대규모 데이터 응용 프로그램", "큰 데이터 인터넷 금융 기술", "지능 정보 처리" 및 많은 다른 테마 포럼 및 업계 정상을 설정 하려면 큰 데이터 기술의 개발을 촉진 하는 3 일을 지속 한다. 중국 컴퓨터 학회, 전문가의 CCF 큰 데이터 위원회 주최 "2014 두 번째 CCF 큰 데이터 학술 회의"의 공동 주최자와 난징 대학 또한 소집 될, 그리고 보고서의 테마를 공유 하는 기술 회의.

최고의 전문가 일선 실무자 거의 100 외국 데이터 기술 분야에서 OSS, 원사, 스파크, Tez, HBase, 카프카, oceanbase의 최신 개발을 논의 하기 위해 회의 초대 것 등, Nosql/newsql, 메모리 계산 흐름 계산 및 그래프 컴퓨팅 기술, 대용량 데이터 컴퓨팅 요구, 및 큰 데이터 시각화, 기계 학습/깊이 학습, 비즈니스 인텔리전스, 데이터 분석, 최신 산업 응용 프로그램, 실제 생산 시스템의 기술적 특성 및 실용적인 경험을 공유에 대 한 OpenStack 생태계의 개발 추세 합니다.

회의의 초기 시절에 우리 중국의 큰 데이터 기술의 개발 기록 회의의 하이라이트를 빗질 하 고 곧 BDTC 2014 outlook에 생태 원의 현재 상황에 따라:

추적 데이터 6 주요 기술 변화를

대용량 데이터 기술 회의의 발달과 함께 우리 중국의 큰 데이터 기술 및 응용 프로그램 시대의 도착을 목격 했다 하 고 개발 및 전체 큰 데이터 생태 원 기술의 진화:

1. 계산 자원의 분배-그리드 컴퓨팅 클라우드 컴퓨팅에서. 이전 BDTC 회의에 다시 찾고, 그것은, 2009 년부터 조직 및 자원의 일정 점차적으로 이동 했다 그리드 컴퓨팅 시스템 로컬 분산 클라우드 컴퓨팅의 크로스 도메인 배포에서 찾기 어렵다. 오늘, 클라우드 컴퓨팅 큰 데이터 자원 보호를 위한 플랫폼 되고있다.

2. 데이터 저장소 변경-hdfs, NoSQL 등장. 점점 더 다양 한 데이터 형식으로 전통적인 관계형 저장소 응용 프로그램, HDFS, NoSQL과 다른 새로운 기술, 새로운 시대의 요구를 충족 하 고 많은 대형 응용 프로그램 아키텍처의 중요 한 부분이 될 하지만 사용자 지정된 컴퓨터/서버, 개발을 할 수 있다 그것은 또한 큰 데이터 생태 원에 가장 인기 있는 기술 중 하나가 되었다.

3. 계산 모드 변경--hadoop 계산 프레임에. 저렴 하 고 더 나은 검색 서비스를 지원 하기 위해 구글 맵/리듀스와 gfs를 만들었습니다. 원래 야 후 엔지니어 더 그 커팅, Google의 종이 의해 영감 을된 방대 하 게 다른 높은-성능 컴퓨팅 모델, 데이터 계산, Hadoop 소프트웨어 생태계를 개척. Hadoop 태어난 귀족, 그리고 오늘날은 아파치 재단의 가장 "핫" 오픈 소스 프로젝트, 표준 사실의 큰 데이터 처리로 인식 되 고. Hadoop 낮은 비용 분산된 환경에서 데이터의 대량 처리 하는 기능을 제공 합니다. 따라서, Hadoop 기술 연구와 연습 공유는 언제나 중국의 큰 데이터 기술 회의의 가장 밝은 특징 중의 하나.

4. 기술 도입의 낮은 대기 시간 데이터 처리 요구 사항 응용 프로그램에 맞게 컴퓨팅 흐름. 비즈니스 요구의 확대, 오프 라인 일괄 처리, 폭풍, 카프카 등 실시간, 확장성의 범주에서 점차적으로 큰 데이터 오류 허용 오차와 유연성 있도록 이전 메시지 미들웨어 기술 프레임 워크, 처리 흐름을 가장 생생하게 재생을 다시 태어날 수 있다. 아름 다운 라인에 이전 bdtc 된다.

5. 메모리 계산의 단서-혜성 처럼 나타난 불꽃의 시작의 베테랑 도전 감히. 캘리포니아 대학, 버클리 Amplab 클러스터 컴퓨팅 플랫폼, 여러 반복 일괄 처리, 포함 데이터 웨어하우징, 흐름 처리 및 그래프 계산과 다른 계산 패러다임에서 메모리 계산에서에 유래 하는 스파크는 드문 만능 선수 이다. 그냥 4 년 동안, 스파크는 30 미터와 아파치 소프트웨어 재단의 최고 프로젝트에 개발 했다, 사용자가 IBM, 아마존, 야 후, Sohu, 바이, 알리, Tencent와 다른 유명한 회사를 포함 하지만 스파크 SQL, 포함 스트리밍, Mllib, Graphx와 다른 많은 관련된 프로젝트 스파크. 의심의 여지가 그 불꽃은 확고 한 발판입니다.

6. 관계형 데이터베이스 기술 진화 newsql 덮어쓰기 데이터베이스 역사. 관계형 데이터베이스 시스템의 개발 중단 하지 않았다 고 수평 크기 조절, 고가용성 및 고성능 진행 됩니다. 실용적인 응용 프로그램에서 MPP (대규모 병렬 처리) 데이터베이스 지향된 온라인 분석 처리 (OLAP)의 수요 이며 가장 긴급 한, 포함 MPP 데이터베이스 학습 여러 복제 기술, 열 저장 기술 큰 데이터 필드에 새로운 기술에. 데이터베이스 지향 온라인 트랜잭션 처리 (OLTP)는 높은 처리량과 낮은 대기 시간, 고성능으로 진화 하 고 기술 개발 동향이 아무 자물쇠를 포함 하는 전체 메모리.

2014 데이터 생태 원의 개발 보고 항해에 따라 달라 집니다,

NO. 2014 중국 큰 데이터 기술 컨퍼런스로 개최 예정. 2014의 기술 변화 하는 때에 bdtc 수? 있습니다. 여기 우리는 현재 기술 동향에 초점을 하실 수 있습니다.

1. MapReduce는 감소 되 고, 원사/tez 더 똑 똑 하 게 만들 수 있습니다? Hadoop, 2014 년의 행복감.--시스 코, EMC, 마이크로소프트, 인텔, Teradata 및 다른 많은 거 둡 그들의 입력 증가 했다. 그러나 많은 기관에 대 한, 년은 쉽지 않다: 더 범용 대형 데이터 처리 플랫폼에 대 한 실시간 짧은 보드의 mapreduce Hadoop 2.0 전환 필수적입니다. 그래서 어떤 종류의 과제 조직 전환에서 얼굴 것입니다? 기관 실에 대해 가져온 새로운 기능을 보다 효율적으로 사용을 어떻게 만들 수 있습니까? Hadoop의 미래 발전에 큰 변화는 무엇입니까? 이 위해 BDTC 2014 초대 Apache Hadoop 커, 아파치 하 둡 프로젝트 관리 위원회 (PMC) 회원 Uma maheswara Rao g, 아파치 hadoo P 커 이순신 Liu, bikas 사 (Apache Hadoop Tez의 PMC 회원)와 다른 국제 최고 둡 전문가, 우리 수 있습니다 또한 의논 얼굴.

2. 폭풍, 카프카와 다른 흐름 컴퓨팅 프레임 워크의 미래는 불투명 하다. MapReduce의 느림 시스템 흐름 컴퓨팅 프레임 워크의 많은 가져왔다, 무엇 인지 이러한 흐름 Hadoop 에코 시스템은 더 성숙 하는 때 프레임 워크를 컴퓨팅 및 점화 더 사용할 수에 맞게? 여기 우리가 잘 BDTC로 한 측 이해에 수행도 또는 전문가 얼굴--얼굴 통신 2014 근처 수백의 연습 공유가 있습니다.

3입니다. 스파크, 파괴 또는 보충? Hadoop 생물권 호환 불꽃 개발 변화 빠르게 있습니다. 그러나, 최근 정렬 기준에 따라 순위 결과, 순위, 비교 마지막 챔피언 Hadoop, 컴퓨터, 데이터 정렬의 동일한 금액을 완료 하는 시간의 1/3만의 1/10 미만 스파크 대량 (100 TB) 오프 라인 데이터에 게시. 현재 스파크 실시간 컴퓨팅에 중단 하지 않았다, 목표 범용 대형 데이터 처리 플랫폼에 지시 되 고 상어, 오픈 불꽃 SQL의 종료 등장 하기 시작 할 수 있습니다 의심의 여지가 있다. 그래서 때 스파크 더 성숙 하 고, 더 많은 원래 오프 라인 컴퓨팅 지원 오픈 소스 큰 데이터 표준 처리 플랫폼이이 영광 될 것입니다 보냈다 누구 집? 여기 함께 하겠습니다.

4. 인프라 계층, 우리의 네트워크의 업그레이드는 무엇입니까? 오늘날, 네트워크는 많은 수의 대상의 대규모 데이터 처리 플랫폼 되고있다. 예를 들어 네트워크 병목을 극복 하기 위해 스파크는 대체 원래 NIO 네트워크 모듈, 네트워크 대역폭 사용률이 증가 새로운 Netty 네트워크 모듈을 사용 합니다. 인프라 계층에 병목을 어떻게 극복 우리가? 얼마나 성능 향상 InfiniBand 등 보다 효율적인 네트워크 장치를 사용 하 여 직접 생성 될 수 있습니다? 각 단계의 계산을 통해 더 지능적인 네트워크 구축을 조정 적응형 데이터 전송 요구의 분할/병합 단계 증가 속도, 뿐만 아니라 활용도 증가. BDTC 2014 년에 우리는 SDN 실무 경험의 수 뿐만 아니라 INFINIBAND 또는 RDMA 기술 및 응용 프로그램 강의에서 배울 수 있습니다.

5. 데이터 마이닝 기계 학습의 영혼 최근 몇 년 동안, 재능 날치기의 기계 학습 분야는 뜨거운 입력 했습니다, 구글, IBM, 마이크로소프트, 바이와 유사한 알리, Tencent 투자 분야에서 기계 학습의 더 높은, 모든 측면에서 칩 설계, 시스템 구조 (이기종 컴퓨팅), 소프트웨어 시스템, 모델 알고리즘 및 심층적인 응용 프로그램을 포함. 그러나 큰 데이터 표시, 도착의 새로운 시대 PB 데이터 사람들이 앉아 금산,, 지능형 알고리즘의 부족, 기계 학습, 추출 값이이 영혼은 의심할 여 지 없이 거울 되고있다. 이 세션에서 우리는 또한 준비 다양 한 기계 학습, 공유와 관련 된 귀하의 참여를 기다리고.

기술 공유 뿐만 아니라 두 번째 CCF 회의 2014 년에서 개최 고 기술 회의와 공유 됩니다. 그 당시, 우리 또한 학술 분야에서 최신 과학 연구의 많은 수확 수 있습니다.

(책임 편집기: Mengyishan)