클라우드 컴퓨팅 분산 병렬 컴퓨팅의 분석: 프로그래밍 모델

출처: 인터넷
작성자: 사용자
MapReduce는 대규모 그룹에 대량 데이터 처리를 위한 Google에 의해 개발 된 분산된 프로그래밍 모델입니다. 그것은 두 가지 기능 구현: 지도 컬렉션의 모든 멤버에는 함수를 적용 하 고 다음이 처리에 따라 결과 집합을 반환 합니다. 감소 하 고 분류 및 여러 스레드, 프로세스, 또는 두 개 이상의 지도에서 독립 실행형 시스템에서 동시에 처리 되는 결과 집합의 일반화 이다. 지도 ()와 감소 (2) 기능을 실행할 수 있습니다 병렬, 심지어 아니라면 동시에 동일한 시스템에.

Microsoft의 분산된 병렬 컴퓨팅 플랫폼을-드리 아 드 구글의 MapReduce 분산된 데이터 컴퓨팅 플랫폼에 경쟁자가 2010 년 12 월 21 일에 베타를 발표 했다. 그것은 개발자가 windows와 함께 일할 수 있습니다 또는. NET 플랫폼 대규모 병렬 응용 프로그램 모델을 작성 하 고 프로그램은 매우 쉽게 분산 병렬 컴퓨팅 플랫폼에서 실행, 프로그래머는 데이터 센터 서버 클러스터 데이터 병렬 처리를 사용할 수 있습니다 독립 실행형에 작성할 수 있습니다, 프로그램 개발자 폐쇄 하지 않고 컴퓨터의 수천의 운영에 분산된 병렬 처리 시스템 세부 사항의 심 혼. 이 문서는 마이크로소프트의 최신 드리 아 드 플랫폼 기능 원리와 응용 프로그램에 집중할 것 이다.

드리 아 드 플랫폼 마이크로소프트의 클라우드 컴퓨팅 인프라를 구축 하는 핵심 기술 중 하나 이기도 합니다. 클라우드 컴퓨팅 얼굴 두 주요 이슈의 진짜 "방문": 응용 프로그램에 긴밀 하 게 결합 된 거 대 한 인프라를 구축 하는 방법? 분산된 플랫폼을 구축 하기 위한 인프라는 드리 아 드, 발전기, mapreduce 프레임 워크의 구성 됩니다.


▲ 그림 1 데이터 병렬 계산

또 다른 문제는 웹에서 풍부한 사용자 경험을 제공 하는 새로운 클라우드 컴퓨팅 응용 프로그램을 구축 하는 방법. 야 후는 MapReduce를 확장 하 고 멀티 코어 프로세서에 적용 될 수 있는 mapreducemerge 프레임 워크를 제시 한다. HP는 MapReduce 프로그래밍 달리 분산된 공유 메모리의 사용에 관심을 집중 한다. IBM은 주로 리눅스 시스템 이미지와 Hadoop 소프트웨어 (구글 파일 시스템과 MapReduce 오픈 소스 구현)을 사용 합니다. 마이크로소프트는 독립적으로 개발한 드리 아 드와 dryadlinq, 그리고 분산된 병렬 컴퓨터 클러스터 또는 데이터 센터에 대규모 데이터의 처리, 성능 및 여러 번 하 여 프로그램 실행의 효율성 향상에 C# 개발자를 지원 하기 위해 사용할 수 있습니다.

드리 아 드와 Dryadlinq는 분산된 병렬 컴퓨팅 플랫폼을 제공 하도록 설계 된 연구 프로젝트를 생성 하는 광산, DRYADLINQ 일반 프로그래머가 쉽게 대규모 분산 컴퓨팅을 수행할 수 있는 높은 수준의 언어 인터페이스를 제공 합니다. 그것은이 플랫폼에서 응용 프로그램을 만들려면 Microsoft 드리 아 드 및 LINQ 두 가지 핵심 기술 결합. 드리 아 드 마이크로소프트 아키텍처, 그림 2와 같이 위치 관계.


▲ 그림 2 관계 드리 아 드 및 마이크로소프트 아키텍처

MapReduce와 같은 드리 아 드, 그것은 프로그래밍 모델 뿐만 아니라 모델을 예약 하는 효율적인 작업입니다. 드리 아 드가 프로그래밍 모델만 클라우드 컴퓨팅에 적합 하지 않습니다 하지만 또한 좋은 성능에 멀티 코어와 다중 프로세서 뿐만 아니라 이기종 클러스터

우리가 알고 있는 visual Studio c에서 + + 병렬 컴퓨팅 프로그래밍 프레임 워크를 지 원하는 일반적으로 사용 되는 공동 작업 일정 및 하드웨어 (예: CPU 및 메모리) 자원 관리, 작품을 통해 알고리즘을 훔치는 활용할 수 있는 완전 정밀한 세분성 병렬 처리의 이점 유휴 스레드는 특정 정책에 의해 모델링 됩니다 보장 하기 위해, "도둑 질" 모든 스레드 큐에서 작업 작업 및 데이터 세분성 병렬 수 있도록. 시간이 걸리는 작업이 대략 4 개의 하위 작업으로 분할 하 고 4 코어 CPU에서 실행, 그것은 실시간 동적 부하 분산을 수행할 수 없습니다 및 3 개의 하위 있을 수 있습니다 경우에 동시에 실행 하는 경우 완료 되었습니다 매우 일찍 다른 작업이 하나의 코어에 대기 하는 동안.

드리 아 드 위의 병렬 프레임 워크, 같은 컴퓨터에 행 해질 수 있다와 유사한 그들의 CPU 스케줄링, 차이점은 드리 아 드 단일 멀티 코어 컴퓨터 인지 또는 여러 컴퓨터의 클러스터에 클러스터 컴퓨팅 플랫폼의 넓은 범위에서 확장 하도록 설계 되었습니다 고도 데이터 센터에서 컴퓨터의 수천을가지고 분산 병렬 컴퓨팅 모델링 작업 큐에서 만든 정책을 프로그래밍 프레임 워크를 구현할 수 있습니다.

연락처

이 페이지의 내용은 인터넷에서 가져온 것이므로 Alibaba Cloud의 공식 의견이 아닙니다.이 페이지에서 언급 된 제품 및 서비스는 Alibaba Cloud와는 관련이 없으므로이 페이지의 내용이 골칫거리 인 경우 저희에게 알려주십시오. 우리는 5 일 근무일 이내에 이메일을 처리 할 것입니다.

커뮤니티에서 표절 사례를 발견한 경우 info-contact@alibabacloud.com 으로 관련 증거를 첨부하여 이메일을 보내주시기 바랍니다. 당사 직원이 영업일 기준 5일 내에 연락 드리도록 하겠습니다.

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.