MapReduce는 서버에 새로운 친구가 될 것입니다.

미래에 때 관리자는 서버를 작성, 그는 서버 클러스터를 설치 하려면 가능성이 데이터베이스, 미들웨어 소프트웨어 MapReduce.

Dionysios Logothetis, 샌디에고, 캘리포니아 대학교에서 연구원 MapReduce 각 클러스터에 개별적으로 분석 하거나 극적으로 데이터를 분석 하는 데 걸리는 시간을 단축 하지 않고 서버에서 직접 로그 데이터를 분석 하는 데 사용 될 수는 최근 Usenix 연례 회의에서 말했다.

MapReduce 구조

이 방법을 사용 하는 "데이터 분석 옮겨질 수 있다 전문 클러스터에서 비용이 많이 드는 데이터 마이그레이션 비용을 피하기 위해 로그 서버에" Logothetis 말했다. MapReduce 점점 서버 및 노드 대규모 데이터 분석에 사용 되 고 있는 Google i n c.에 의해 처음 시작 되었다. 현재, 그것은 주로 역할은 hadoophttp://www.aliyun.com/zixun/aggregation/14345.html의 중요 한 부분이 "> 데이터 처리 플랫폼."

비록는 mapreduce의 대부분은 전문 클러스터에서 사용 하 고, 연구원은 분석 소프트웨어의 프레임 워크 버전 또한의 일부분일 수 있다 웹 서버를 말한다. 사용자의 자세한 로그 정보에 대 한 현재 비즈니스 웹 페이지 광고 위치에 대 한 데이터 지원, 웹 사이트 보안 모니터링 및 디버깅 수 있습니다.

통계에 따르면, 바쁜 전자-상거래 사이트에 대 한 서비스를 제공 하는 단일 서버에서에서 생성할 수 귀중 한 로그 데이터 1MB 10 mb 초당. 일 이내에, 몇 10 상 바이트의 귀중 한 데이터를 생성합니다. 평균, 1000 같은 서버는 하루에 86 TB의 데이터 정보를 생성합니다. 예를 들어 유명한 소셜 네트워킹 사이트, 페이 스 북, 하루 데이터의 100 TB 생성합니다.

일반적으로, 페이스 북과 같은 사이트를 다른 서버에서 데이터를 수집 하 고 Hadoop 클러스터에 로드 그리고 MapReduce를 사용 하 여 그 결과 분석 하.

MapReduce 인스턴스

"저장 및 첫 번째 쿼리"의 이전 방법 많은 단점이 있다. 다른 서버에서 데이터의 전송 대역폭 리소스를 많이 소비 하 고 네트워크에 거 대 한 압력을 포즈. 페이스 북은 데이터 분석 하기 전에 해당 로그 데이터의 80%를 삭제합니다. 이 새로운 기술을 사용 하 여 데이터를 다시 전송 하지 않아도 됩니다 그리고 데이터 손실의 아무 심각한 문제가 될 것입니다.

MapReduce 미래의 서버는 데이터를 분석 하 고 중앙 데이터 수집 포인트에 분석의 결과 대 한 표준 옷을 될 수 있습니다. "현장에서 MapReduce"이이 메서드를 호출 하는 연구원은 (IMR).

IMR는 보완, 보다는 오히려 대체, 분산된 스토리지 시스템에 로그 데이터와 다른 데이터의 후속 분석을 완료 하기 위해 전통적인 클러스터 아키텍처 설계 되었습니다. 프로그램으로 IMR 수 복제 모든 MapReduce Api mapreduce 비슷한 기능을 수행, 이름 데이터를 필터링 하 고 분석 결과 조립. 차이점은 지속적인 분석 단위의 최신 데이터에 따라 될 수 있습니다.

현재, 연구원은 마지막 60 초 동안 수집 된 모든 정보와 같은 구문 분석 되어야 하는 데이터의 범위를 지정 하려면 사용자를 허용 하는 IMR 프로토 타입을 만들었습니다. 또한, 사용자가 분석 결과 전송, 수 수 등 모든 15 초 분석 지정 제출 빈도 설정할 수도 있습니다.

Logothetis 서비스 사용자에 게 웹 서버에 그들은 뭘 해야, 그들의 자원의 대부분을 보낼 수 있습니다 말한다. 하지만 IMR 로그 데이터를 처리 하는 루프의 나머지 부분을 사용할 수 있습니다.

그것은 연구원은 구체적으로 덜 완료, 하지만 아직도 의미 있는 결과 결과를 얻을, 다음 각 서버 필요 일부 소모 데이터를 무시할 수 있다면 속도 결과 무결성 처리 사이의 균형을 확립 하는 계획을 개발 보고 됩니다. 포괄적인 분석을 원한다 면 오랜 시간과 완료 하는 데 서버 리소스 많이 소요 됩니다.

물론, 적은 수의 서버를 실행 하는 조직 IMR에서 이점이 없습니다 수 있습니다. 하지만 검색 엔진, 소셜 네트워크와 e-상거래 사이트, 큰 연산자 IMR의 가치를 경험할 것 이다.

(책임 편집기: 관리자)