페이스 북 큰 데이터: 2.5 십억 이상의 콘텐츠 및 500 t B 하루 데이터의 처리

현지 시간 오늘, http://www.aliyun.com/zixun/aggregation/1560.html "> 캘리포니아에 있는 페이스 북에 여러 기자에 본부는" 빅 데이터 "통계, 예를 들어 페이스 북 시스템 2.5 십억 메시지 하루에 500 + TB 데이터를 2.7 십억 번 like 버튼을 클릭, 300 백만 사진을 업로드 및 105 결핵 약 30 분 마다 검사를 처리 합니다. 페이스 북은 또한 처음으로 새로운 프로젝트 "프로젝트 프리즘"의 세부 사항을 공개.

데이터는 특히 페이스 북에 대 한 중요 한 페이스 북에서 인프라 기술 부사장 제이 Parikh 말한다. 이 데이터를 신속 하 게 처리 하 여 페이스 북은 새로운 제품을 출시 하 고, 사용자 응답을 알고, 거의 실시간으로 제품 디자인을 조정할 수 있습니다.

페이스 북에 의해 공개 하는 또 다른 통계 Parikh 있다 세계의 가장 큰 단일 Hadoop 시스템에 별도 Hadoop 디스크 클러스터에 저장 되어 있는 데이터의 페타 보다 더 보여줍니다. 하지만 그 데이터의 크기는 중소 기업에 대 한 거 대 한, 아무도 100PB 몇 개월의 시간에 데이터베이스에 저장 된 데이터에 대 한 관심 것 이다 지적. 데이터는 빠르게 성장 하 고 있다 그리고 우리는 몇 개월의 시간에 더 많은 데이터를 먹고 있어요, 때문에 디스크 클러스터의 페타는 더 이상 뉴스.

또한, Parikh 데이터만 페이 스 북에 도움이 되지 않습니다 말했지만 광고주 또한 수혜자입니다. Parikh 설명: "사용자 (성별, 나이, 취미)의 모든 수준에 있는 사이트에 광고를 추적, 우리 수 타겟팅 할 효과 더 명백한 광고의 강도 증가를." 예를 들어 경우 광고 효과 다른 곳 보다 캘리포니아에서 더 나은, 더 많은 광고 광고주의 효과 극대화 하기 위해 캘리포니아에 넣어야 합니다.

페이스 북은 심지어 모든 변경 데이터의 영향을 볼 필요가 없습니다. 로 기록 데이터 모델, 그리고 데이터 시뮬레이션 Faceboo 구축할 수, 광고 클릭 율 (CTR) 증식을 볼 수 있습니다. 동시에 기본 사용자의 작은 비율에서 데이터에 대 한 가져온 변경 내용을 테스트 하는 게이트 키퍼 라는 시스템이 있다.

다음 것 들에 대해 이야기 하는 새로운 프로젝트, "프로젝트 프리즘." 이제 페이스 북은 실제로 저장 모든 사용자 데이터베이스 (끊임없이 변화 하는) 특정 데이터 센터에서 다른 데이터 센터는 다른 데이터 및 중복 데이터를 저장 하는 데 사용 됩니다. 그러나, 사용자 데이터베이스 증가 함에 따라, 데이터 센터는 모든 데이터를 저장 하기에 충분 한 되지 않습니다 다음 전체 사용자 데이터베이스를 더 큰 데이터 센터를 이동 해야 합니다. 데이터 전송의 전체 프로세스 자원 낭비 이기도합니다.

Parikh 말했다: "프로젝트 프리즘"이 "거 대 한 창 고"를 저장할 수 있습니다 (사용자 데이터베이스) 그래도 별도로 하지 않는 데이터, 그 데이터에 호스팅될 수 별도로 페이스 북 캘리포니아, 버지니아 주, 오리건 주, 의미의 전체 보기에 영향을 노스 캐롤라이나 주도 스웨덴, 다른 필드에 데이터 센터입니다.

내부적으로, 광고 부서 및 고객 지원 서비스는 데이터를 분할 하지 또는 다른 비즈니스 단위 사이의 장벽을 설정 페이 스 북 선택 합니다. 제품 개발자 평가 여부 그들은 사이트에 사용자의 체류 증가 하는 것을 확인 하는 작은 조정 사용자의 불만 인상 광고 클릭 수를 증가 하는 부서에 걸쳐 데이터를 볼 수 있습니다.

사용자, 페이스 북의 직원 매우 그들의 활동에 대 한 지식이 될 수 있는 아이디어 불안 한 느낌에 바인딩됩니다. 하지만 페이 스 북 사용자가 사용자가 그들의 데이터를 악용 하지 못하도록 여러 보호 걸릴 것입니다 약속 했다. 모든 데이터 액세스 레코드가 기록 됩니다 페이스 북에 의해 추적할 수 있도록 직원 데이터에서 찾고 있습니다. 그리고 페이스 북 것입니다 또한 직원, 각각의 데이터를 그것의 자신의 지역에 대 한 집중적인 훈련 그리고 직원으로 잘못 된 데이터에서 훔쳐 그의 권위 초과 했습니다 경우 해 고 될 것입니다. Parikh 엄 숙 하 게 선언: "우리는 0 포용 력 정책 채택, 절대적으로 사용자 데이터의 불법 사용을 조장 하지 않아." "

(책임 편집기: 유산의 좋은)