Hadoop 넘어 큰 데이터 분석을 위한 그래픽 처리 차원

Google에서 다른 중요 한 도구는 Hadoop을 미스터-pregel 프레임 워크 그래픽 컴퓨팅을 달성 하에 넘어 보이는 (Malewicez et al.2010). Pregel에 계산의 반복, Supersteps 라는 시리즈의 구성 되어 있습니다. 다이어그램에서 각 꼭지점은 연결 된 사용자 정의 계산 함수; Pregel 보장 각 superstep 동시에 다이어그램의 각 가장자리에 계산 사용자 정의 함수를 호출 합니다. 정점은 가장자리를 통해 메시지를 보낼 하 고 정점 사이의 값을 교환할 수 있습니다. 이것은 또한 글로벌 동기화-모든 사용자 정의 함수 종료 후 계속 해야 합니다. BSP에 익숙한 독자는 왜 Pregel BSP-엔터티는 사용자 정의 함수에 병렬 계산에서 전역 잠금을 사용 하 고 메시지를 교환할 수의 그룹의 좋은 예는 볼 수 있습니다.

Http://www.aliyun.com/zixun/aggregation/14417.html "> 아파치 하 마 (Seo 외. 2010)은 오픈 소스 Pregel, BSP 구현. 하 마 HDFs와 마이크로소프트의 드리 아 드 BSP 엔진. 아마도 그들은 Hadoop 커뮤니티에서 다른 고려 하 고 싶지 않아. 하지만 중요 한 것은, BSP는 기본적으로 반복 계산의 예입니다 그리고 하 마는 Hadoop 구현 하기 쉽지 않다 CGD의 병렬 구현. 그것은 하 마의 BSP 엔진 MPI 병렬 프로그래밍 문학 (www.mcs.anl.gov/research/projects/mpi/)의 원조에 구현 됩니다 지적 해야 합니다. 아파치 giraph, 황금 천체, 그리고 스탠포드 GPS 프로젝트 또한 Pregel에 의해 영감을.

Graphlab (곤잘레스 외. 2012) 현대 그래픽 처리의 예를 되고있다. Graphlab은 워싱턴 대학교와 카네기 멜론 대학 (CMU)에서 학술 프로그램에서 유래 했다. Graphlab은 클러스터 노드에서 그래픽 작업에 대 한 유용한 추상화를 제공 합니다. Powergraph의 후속 버전, graphlab 하면 처리 자연 또는 전원 법 다이어그램-많은 수 바람직하지 연결 지점과 몇 가지 좋은 연결점의 그래프에에서 효과적인 있습니다. 삼각형 세 페이지 순위에 대 한 트위터에 대 한 성능 평가 graphlab 다른 방법 보다 더 효율적입니다 입증 했다. 이 책의 주요 초점은 Giraph, graphlab 및 그것의 관련된 양상입니다.

표 1.1 확장성, 내결함성 메커니즘 구현된 알고리즘 등 다양 한 패러다임의 작동 하지 않는 기능을 비교합니다. 그것은, 전통적인 도구만 단일 노드에서 작동, 수평 확장을 할 수는 없습니다, 또한 단일 지점 오류, 세대간 이동의 그들을 최근 재구성 노력 가능성은 유추 될 수 있습니다. 특히, 대부분의 그래픽 처리 패러다임 결함 허용 메커니즘, 필요가 없습니다 하지만 스파크와 Hadoop 결함 허용 메커니즘을 제공 하는 제 3 세대 도구.

당신이이 기사를 좋아하는, 칭찬, 공유, 코멘트를 하시기 바랍니다.

원래 기사는 소스를 지정 하시기 바랍니다 복제: Http://outofmemory.cn/wr/?u=http%3A%2F%2Fifeve.com%2Fbigdataanalyticsbeyondhadoop_graphprocessingdimension%2F