Windows Azure의 다중 노드 hadoop 클러스터를 배포 하는 빌드 전 리눅스 이미지

이 문서는 http://www.aliyun.com/zixun/aggregation/13357.html에 의해 작성 된 "> 푸른 고양이 팀 Piyush Ranjan (MSFT).

인프라 서비스 (가상 머신과 가상 네트워크)는 최근 공식적으로 Windows Azure에 릴리스, 점점 더 많은 기업 작업 클라우드 수익성, 규모, 그리고 속도 활용 하기 위해 공공 클라우드로 마이그레이션는. 나는 최근 클라우드에서 엔터프라이즈 작업 부하 큰 데이터 중 하나에 참가 했다. 여기에, 난 당신과 함께 몇 가지 팁 및 유용한 정보를 공유 합니다.

이 프로젝트에 미리 리눅스 이미지를 사용 하 여 Windows Azure에서 다중 노드 Hadoop 클러스터 배포가 필요 합니다. 난 CentOS 6.3 이미지를 사용 하 여 Windows Azure 미러 라이브러리에 중간 가상 컴퓨터 (VM)을 구성 하 고 단일 노드 코어 Hadoop 배포를 계속 했다. 다 괜 찮 아 요, 하지만 약간 무거운 작업을 테스트 하려면 시작, 난 VM 자주 동결 또는 응답을 찾으십시오.

그것은이 중소 VM 후 모든 자원 할 수 있다, 그것은 겨우 2 CPU 코어와 3.5 g B 메모리 볼 어렵다. 그러나 무응답 또는 떨어지는 시작 전체 VM을 기대 하지 않았다. 후에 내 친구와 동료와 함께이 문제를 논의 우리는 VM 스왑 공간 모두에서 구성 된 (즉, 페이징 파일 말 이다 창에)는 없습니다 확신 합니다. 따라서, 메모리 압력이 증가 될 때의 가상 메모리 시스템 수 없습니다 교환할 디스크에.

어떻게 시스템 실행 무료 명령을 시스템 메모리를 사용 하는 방법을 볼 수 리눅스 쉘 프롬프트에서 확인할 수 있습니다. 있습니다, 특히, 사용에서의 스왑 공간-구성 된 메모리 크기와 메모리의 용량 상태를 보려면 "고양이/proc 디렉토리/스왑"을 사용할 수 있습니다. 아래의 스크린샷을 참조 하십시오.

기본적으로 Windows Azure 가상 컴퓨터에서 Linux VM 구성, "고양이/proc 디렉토리/스왑" 모든 콘텐츠를 반환 하지 않는 및 "무료" 명령 교환 되는 어떤 활동 든 지 표시 되지 않습니다 그래서 스왑 공간 구성 되지 않습니다.

재미 있는 질문은 왜 리눅스 라이브러리 이미지 (즉, Windows Azure 미러 라이브러리에서 이미지)를 사용 하 여 VM 구성 스왑 공간을 자동으로 구성 하지 않습니다. 우리는 이것이 사용자 크기와 스왑 공간의 위치를 결정 하 고 나중에 그것을 구성 해야 하기 때문에 그것에 대해 생각. 그러나, 그것은 가장 가능성이 사용자 계속 VM 스왑 공간 구성 적 프로세스를 시작 또는 VM 정지 될 때까지 사용 됩니다.

즉, 일단 우리가 우리가 필요가 있는 무엇을 할는 즉시 일련의 간단한 단계;에서 리소스 디스크에 스왑 파일 공간을 구성 하 고, 스왑 공간 구성 실현 Windows Azure에 중간 가상 컴퓨터 135 기가바이트 리소스 디스크 장착 고 "/ mnt/자원"으로 설치 됩니다. 아래는 VM에서 파일 기반 스왑 공간을 구성 하기 위한 단계를 설명 합니다.

"fallocate" 명령을 사용 하 여 리소스의 디스크 5 기가바이트를 할당 등의 적절 한 크기의 교환 파일에 할당. 구문입니다: "Fallocate-l 5 g/mnt/리소스/swap5g", 여기서 "swap5g"만 루트 사용자가 읽기/쓰기 권한을 사용 하 여 스왑 파일을 보장 "chmod" 명령을 사용 하 여 파일의 사용 권한을 변경 하려면 파일 이름입니다. 구문: "Chmod 600/mnt/리소스/swap5g" "Mkswap" 명령을 사용 하 여 파일 스왑 영역으로 설정 합니다. 구문: "mkswap/mnt/리소스/swap5g" "swapon" 명령을 사용 하 여 스왑 파일을 사용 하려면. 구문: "swapon/mnt/리소스/swap5g" 지금, 사용 가능한 공간을 교환 하 고 "고양이/proc 디렉토리/스왑" 명령을 통해 확인 할 수 있어야. Azure에서 VM을 회수 하는 경우에 스왑 설정을 유지할 수 있습니다 있도록 "/ etc/fstab" 파일에 항목을 추가 합니다. 구문: 에코 "/ mnt/리소스/swap5g 없음 스왑 SW 0 0" >> / etc/fstab

다음 그림은 위의 명령 내 VM에서 실행의 기록.

승인: 내 동료 덕분에 해결 하 고 Exchange를 해결 도와 주셔서 아 미트 요 Srivastava 문제.