(I) 큰 데이터 기술 포럼: 스파크, 리드에 Hadoop 기술

"Csdn 라이브 보고서" 2014 년 12 월 12-14, 후원에 의해는 중국 컴퓨터 학회 (CCF), CCF 큰 데이터 전문가 위원회 계약자, 중국 과학 아카데미 및 CSDN 공동 공동 조직 2014 중국 데이터 기술 회의 (큰의 메인 테마로 큰 데이터 연구, 응용 프로그램 및 산업 개발을 촉진 하 데이터 Hnologyconference 2014 BDTC 2014에 tec)와 두 번째 CCF 큰 데이터 학술 회의 베이징 새로운 운 크라운 플라자 그랜드 오프닝에.

2014 중국 큰 데이터 기술 회의 두 번째 날 아침 큰 데이터 기술 포럼, 바이 큰 데이터 부 부국장 시 Zhenghua와 중국 모바일 그룹 비즈니스 지원 시스템 부서 프로젝트 관리자 그 Hongling 공동 위원장 아침 포럼. NetEase ntse/tnt 엔진 지도자 Hu Wei, 인텔 큰 데이터 수석 건축가 다이 킹, vm 웨어 수석 비즈니스 솔루션 아키텍처 시 Jiewen 청, Sohu 모바일 연구 및 개발 관리자 리 우 Jia, admaster 기술 부 대통령 루 십억 5 전문가 주로 연설 시작 큰 데이터 기술에 초점.

큰 데이터 기술 포럼 사회자: 바이 큰 데이터 부서 차장 시 Zhenghua

큰 데이터 기술 포럼 사회자: 차이나 모바일 그룹 비즈니스 지원 시스템 학과 프로젝트 관리자 그 Hongling

Hu Wei: NetEase 데이터베이스 압축 기술

12 월 14 일 아침 연설에서 빅 데이터 기술 포럼에서 NetEase ntse/tnt 엔진 지도자 Hu Wei 출판 "NetEase 데이터베이스 압축 기술" 연설에 대 한 테마. 이상적인 압축 기술 한다는 것 어떤 압축 기술에 상관 없이 당신이 Hu Wei, 지능, 데이터 압축, 압축 해제 및 압축된 데이터 액세스 유연성 유지 하기 위해 압축 및 압축 해제를 하는 방법에 관계 없이 높은 효율을 달성 하는 것을 제공 합니다.

NetEase ntse/tnt 엔진 지도자 Hu 웨이

데이터베이스 압축 기능에 대 한 Hu Wei 5 포인트를 요약:

무손실 압축 기술입니다. 일반적으로 데이터베이스 압축 일반 알고리즘을, 데이터 배포 영향을 채택 한다. 그것은 소위 압축, 사실, 다른 압축 알고리즘의 사용에 다른 데이터의 한계를 나타내는 내용의 임의성을 나타냅니다, 그리고 데이터 최종 압축 효과에 결과 것입니다 수 있습니다 매우 다른. 만약 내가 매우, 매우 중복 데이터, 그것은 끝낼 수 있습니다 아주 좋은 압축 효과; 하드웨어 압축에 대 한 매우 중요 한 요소 이기도합니다. 그것이 스토리지, CPU, 메모리, 때문에 급속 한 발전과 함께, 그것은 실제로 압축 알고리즘의 선택, 매우 큰 방향으로 될 것입니다. 압축된 단위입니다. 데이터베이스 압축에 압축된 단위는 매우 큰 영향을, 그것은 할 수 있는 전체 파일 수준 압축 또는 데이터 테이블 수준 압축 또는 블록 수준 처럼 페이지 수준 압축. 특성 수준 행 수준에도 작은 압축. 다른 압축 단위, 하지만 또한 매우 사용 등 압축에 대 한 비교적 큰 차이 생산할 예정 이다. 처리량 요구 사항입니다. 데이터베이스 압축 매우 높은 처리 속도 요구 하 고 당신이 선택 하는 알고리즘, 아무리 당신이 너무 많은 처리량을 희생 수 없습니다.  각 방문 전체 파일을 추출 하는 경우 파일 압축 전략을 사용 하면 손실 수 있습니다.

마지막으로, 후 웨이 소개 netease 큰 데이터 압축 방법 글로벌 설립 사전에를 통해 유연한 온라인 압축, 감압, 두 번 시간 10 시간을 전통적인 압축 향상에 비해 액세스 효율에 수행 데이터 특성 구별. 다음으로, Hu Wei 계획 자동 파티션 함수를 더 많은 통계 정보 수집 사전 깨닫는다.

다이 킹: 불꽃 소프트웨어 스택 기반 다음 세대 대용량 데이터 분석

인텔 큰 데이터 수석 건축가 다이 킹

다이 킹, 인텔의 큰 데이터 수석 건축가, 대용량 데이터의 깊은 분석을 두 가지 범주를 광범위 하 게 나누어 말했다: SQL 데이터 분석, 관계형 클라우드 컴퓨팅, 실시간, 빠른 데이터 분석 속도 비슷합니다. 그는 믿고는 대용량 데이터 분석의 다음 세대를 구축 하는 스파크를 사용 하 여, 사용자가 만들 수는 새로운 응용 프로그램 시나리오와 새로운 분석 응용 프로그램, 점화 및 SQL 구조 데이터, 방법 및

하이브 및 parquat 데이터 처리입니다.

체 Wenqing: 12306: 변화 하는 문제를 해결 하기 위해 전통적인 아이디어의 NoSQL 연습

체 Wenqing 12306 예제로 시작 연설, NoSQL 건설 시스템, 주문 쿼리 시스템을 사용 하 여 달성 두 번째 주문 문의 당 10000 주문 10 분 티켓의 주파수를 업데이트 하는 방법을 소개 했다.

Vm 웨어 수석 비즈니스 솔루션 아키텍처 시 Jiewen

체 Wenqing 시스템 아키텍처의 전통적인 디자인 해결할 수 있습니다, 그리고 12306 웹 사이트 데이터 트래픽 문제. 시스템 전환 될 때 SQL 데이터베이스 추출, NoSQL 클러스터로 전송, 데이터 양 병렬 작업 수행, 시작 오래 되 고 새로운 시스템 작업 로드 90%-10% 사이, 후에 정상 작동 완전히 실행 하는 새로운 시스템에 넣을 수 있습니다.

리 우 Jia: 뉴스 클라이언트 추천 기반 시스템 전체 웹 콘텐츠

뉴스 클라이언트 발생 콘텐츠 분류 품질 식별 그래픽 및 텍스트, 비디오, 오디오, 게임, 데이터 스파스, 콘텐츠 콜드 시작, 사용자 콜드 시작, 리 우 Jia 소음 처리: 연설을 시작 하는 방법의 가시 문제의 처리 등 3 개의 저속 한 콘텐츠.

Sohu 모바일 연구 및 개발 관리자 리 우 Jia

우선, 리 우 Jia Sohu 모바일 끝 뉴스 권장 두 기능 소개:

광고 시스템입니다. 광고 시스템, Sohu 전환율을, 보조 인덱스 투자 수익, 사용자 효과 추구 한다. 시스템을 검색 합니다. 검색 엔진, 콘텐츠 이해, 콘텐츠 크롤링, 텍스트 키워드 테마 추출, 텍스트 분류, 주제 분류, 콘텐츠 인덱싱, 필터링, 페이지 순위는 쓰레기의 추구, 사기 등등.

그 후, 리 우 Jia 치료의 3 개의 저속 한 내용의 뉴스 추천 시스템을 도입, 그는 말했다: "추천 시스템 3 저속 한 콘텐츠, 비록 18%-20%의 전환율을 높일 수 있습니다 일시적으로 클릭을 높일 수 있습니다 하지만 사용자의 끈 적 거 림은 큰 영향." 우리는 3 개의 저속 한 내용을 화면에 배포, 사용자 특성 분포 통계 및 수정 하는 사용자의 분류를 통해 선별. 후 전체 치료, 15%로, 떨어졌다 전환율 20%의 총 증가, 권장 사용자 주파수는 또한 20% 증가 있다. "

루 이순신 Lei: 연습 Hadoop의 광고 모니터링 기술

데이터 흐름, 광고 모니터링 기술 기능, 광고 모니터링 데이터 차이, 광고 데이터 마이닝 플랫폼 프레임 워크, 6에서 연설을 시작 광고 마케팅 데이터 마이닝, Admaster 데이터 분석 플랫폼에서 ADH 마케팅 광고 주위 루 십억 천둥.

Admaster 기술 부사장 루 이순신 Lei

연설, 루 십억 Adh Hadoop의 광고 업계에 대 한, 그는 다음 5 개의 기능을가지고 있다:

로그 정보 또는 데이터 Hadoop에 자동으로 필요한 데이터 형식, 내장 광고 알고리즘 생성 됩니다, 그리고 미스터 HBase 프로젝트 시퀀싱, 프로젝트에 해당 최적화, 최적화 Hadoop 예약 시스템, 통합된 불꽃을 인덱싱 같은 변환을 수행할 Hadoop 서비스를 제공할 수 있습니다.

루 십억 천둥 표현 하는 데이터를 모니터링 하는 광고에: 다른 IP 도서관 시스템 코드 배포, 모니터링 메커니즘 및 지표, 모바일 애플 리 케이 션의 정의 차이의 다른 타이밍을 모니터링 다른 지리적 결론에 지도 더 불안정 한 네트워크 환경 및에 데이터 차이를 선도 하는 주요 요인.

더를 강조 표시 하십시오 2014 중국 큰 데이터 기술 의회 (BDTC), 시 나 Weibo @csdn 클라우드 컴퓨팅, 구독할 CSDN 큰 데이터 마이크로-신호 라이브 주제에 관심을 지불 합니다.