오픈 소스 클라우드 컴퓨팅 기술 시리즈 (v) (블랙 말 분야/영역 실제 전투 문서의 상승)

자바 Hadoop의 전성기에서 오픈 소스 클라우드 컴퓨팅은 블랙-부문/구형 C에 따라 +, +는 성능 면에서 Hadoop을 도전, 오픈 클라우드 컨소시엄 (OCC) 개설 클라우드 컴퓨팅 협회 에 대 한 테스트 소프트웨어 클라우드 테스트 베드 오픈 클라우드 실험 침대 분야는 Hadoop 두번 빨리.

실용적인 운동, 첫 느낌, 다음 깊이 있는 디자인 원리를이 검은 말에이 문서 먼저는 구름의 특성을 탐구 컴퓨팅.

10 월 된 여러 데이터에 대 한 컴퓨팅 클러스터의 핵심 10 G 대역폭 교육 네트워크에 걸친 센터입니다.

2 단계에서 구현 됩니다.

1 단계입니다. 단계 1 2008 년 6 월에에서 작동 하 고 이루어져 있다는 ' 한 ',' 코어에 분산, 미국 4 개 도시 이 코어 2008 년 9 월에 업그레이드 됩니다.

이 테스트 베드의 다이어그램입니다. 4 개의 선반 1 단계 장비에 의하여 이루어져 있다. 각 랙 노드를 포함합니다. 각 노드는 4 개의 코어. 선반에 있습니다.

모든 랙 광역 g B/s 네트워크로 연결 된다.

2 단계입니다. 단계 2는 "오픈 클라우드 테스트 베드는 계획"의 6 월, 2009 년까지 운영. 테스트 베드 8 랙 1000 코어를 포함 하는 총 장비의 4 선반을 추가할 것입니다. 또한, 두 개의 더 많은 사이트 거 야 g B/s 네트워크에 의해 연결 된다. 단계 2 선반에 있다:

또한, 2 단계에서에서 오픈 클라우드 테스트 베드 공유, 비전용 리소스를 추가할 것입니다.

기업 및 대학 연합, 오픈 소스 클라우드 컴퓨팅 도메인 규모는 점점 더 확장 합니다. 상기 Hadoop 이기도 하나 어디 우리가 초점을 또 다른 다크 호스 분야/구체, 또한 10 월에서 사용 되는 핵심 소프트웨어 중 하나입니다, 10 월에 의해 사용 되는 소프트웨어의 그것 볼 수 있다는 그것의 구성 요소 부문/구형 코어 데이터 보안을 강조 하는 공용 네트워크와 함께 작업에 초점을 뿐만 아니라 숙련 된 C + + 개발자가 오픈 소스 클라우드 컴퓨팅 기술 프레임 워크를 제공 하. 블랙 말 두 번 성능 테스트에서 Hadoop 보다 더 많은 시간을 봐 보자.

분야/구형 디자인 아이디어는 분명, 하지만 데이터 및 문서는 상대적으로 적은, 대규모 프로 모션에이 또한 불편 한

이 검은 말을 경험 하기 전에 부문/구의 디자인 구조에서 보기를가지고 가자.

보안 서버 설정 광역 네트워크에 클라우드 컴퓨팅의 보장을 제공 하는 분야에서 더 눈에 띄는 장소에 올 때 있다.

소프트웨어는 아주 작은, codeblue.1.23c.tar.gz의 최신 버전을 다운로드, 일부 문제는 포럼에 토론 될 수 있다.

http://sourceforge.net/forum/?group_id=172838

확인을 설치 하기 전에 데비안 OS 안에 여러 기본 패키지 설치 되어 있는지 확인 합니다.

Libssl-dev, gcc, g + +, libfuse-dev 퓨즈 기능을 경험 하 준비 되어 있는 경우

데비안: ~ # Tar xvzf codeblue.1.23c.tar.gz

데비안: ~ / codeblue2/conf # ls
client.conf master_node.cert masters.list security_node.key slave.conf topology.conf
master.conf master_node.key security_node.cert slave_acl.conf slaves.list 사용자
데비안: ~ / codeblue2/conf # pwd
/root/codeblue2/conf

보안, 마스터, 슬레이브, 배포 하는 환경에 따라 클라이언트 구성 파일을 변경 합니다.

구성 파일은 매우 분명 하 고, 기본적으로 해당 호스트를 변경 하 고 데이터 디렉터리 수 있습니다.

데비안: ~ / codeblue2/conf # 더 master.conf
#SECTOR 서버 포트 번호
Sector_port
6000

#security 서버 주소
Security_server
localhost:5000

데비안: ~ / codeblue2/conf # 더 slave.conf
#Master 주소
Master_address
localhost:6000

#Data 디렉토리
Data_directory
/ 루트/데이터 /

데비안: ~ / codeblue2/conf # 더 client.conf
#Master 주소
Master_address
localhost:6000

컴파일, 성공적으로 완료, 서비스를 시작할 수 있습니다.

서비스를 시작 합니다.

데비안: ~ / codeblue2/보안 #/ sserver &
[1] 8637
데비안: ~ / codeblue2/보안 # 부문 보안 서버 포트 5000에서 실행

서버를 성공적으로 시작 이 프로그램에서 출력을 더 있다. 제발 하지 않습니다 종료 보안 서버; 그렇지 않으면 클라이언트가 수 있습니다 로그인 할 수 있다. 어떤 이유로 서버가 다운 되 면 다시 시작할 수 있습니다 그것은 주인을 다시 시작 하지 않고

데비안: ~ / codeblue2/보안 # CD... /master/
데비안: ~ / codeblue2/마스터 #/ start_master &
[2] 8638
데비안: ~ / codeblue2/마스터 # 부문 마스터는 성공적으로 실행 지금. 자세한 내용은 Sector.log를 확인 합니다.
더 이상이 프로그램에서 화면 출력이 됩니다.

데비안: ~ / codeblue2/마스터 # CD... /slave/
데비안: ~ / codeblue2/슬레이브 # ls
Serv_file.cpp serv_spe.cpp slave.cpp slave.o start_slave.cpp를 복사
메이크파일 serv_file.o SERV_SPE.O slave.h start_slave
데비안: ~ / codeblue2/슬레이브 #/ start_slave &
[3] 8652
데비안: ~ / codeblue2/슬레이브 # scaning/루트/데이터 /
이 분야 노예 현재 성공적으로 초기화 하 고 실행.
슬레이브 프로세스: gmp 47087 데이터 42064

데비안: ~ / codeblue2/슬레이브 #

기본 섹터 10 GB의 공간을 유지 합니다, 그리고 결과 테스트 데이터는 10GB, 적은 양의 데이터를 사용 하 여 달성 하기 위해 소스 코드를 변경할 수 있습니다 확인 하려는 경우.

예를 들어, 정렬 테스트 데이터의 100 M를 생성 하려는 경우.

그래서

6 randwriter.cpp

수정 하 고 100 m 10 기가바이트에서 테스트 데이터의 양을 줄여 마지막 00을 제거.

10 GB = 100 * 1000000
(긴 int i = 0; 난 < 1000000 + i)
58 없음
Keygen (기록);
Ofs.write (기록, 100);
61}

A (긴 int i = 0; 나 < 1000001 + i)
68 없음
오래 오래 int d = i * 100;
Idx.write ((char*) 및 d, 8);
71}

그리고 내부 mrsort.cpp 그렇지 않으면 과거 실행 한 단락을 주석 처리 해야 합니다.

데비안: ~ / codeblue2/클라이언트/예제 # 바이올렛 mrsort.cpp

/ * IF (3! = argc)
{
cout << "사용: mrsort" << 끝없이;
0; 반환
}
*/

다음 또는 깨끗 하 게, Codeblue2 디렉터리에.

그래서 다음 테스트 시작할 수 있습니다, 또한 귀하의 하드 드라이브, 폭발 하지 하지만 재생 클라우드 컴퓨팅, 당신이 이상의 예약 일부 하드 디스크, 많은 벤치 마크 데이터를 특정 달성의 기본 금액에 절차를 제안 수준 수 대표, 뿐만 아니라 거 대 한 이즈 모, hehe에 맞게.

테스트 데이터를 생성 합니다.

debian:~/codeblue2/client/examples#./testfs
recv cmd 127.0.0.1 6000 형식
recv cmd 127.0.0.1 6000 103
recv cmd 127.0.0.1 6000는
입력 = = = > 시작 파일 서버 127.0.0.1 6000
오픈 파일 Tmp/guide.dat 127.0.0.1 60 833 소스 127.0.0.1 45180/root/data//tmp/guide.dat 랑 연결 연결


파일 서버 폐쇄 127.0.0. 1 45180 0
127.0.0.1 6000 14,/tmp/guide.dat,0,1245914942,4
recv cmd 127.0.0.1 6000 타입
= = = > 스타 T 파일 서버 127.0.0.1 6000
랑 연결 소스 127.0.0.1 45180/root/data//tmp/guide.dat.idx
연결 < BR > 파일 열기 tmp/guide.dat.idx 127.0.0.1 60833
파일 서버 폐쇄 127.0.0.1 45180 0
127.0.0.1 6000 ide.dat.idx,0,1245914943,16
시작 시간 1245914943 작업 4 1 1

spe 발견! 1 데이터 seg 총.
recv cmd 127.0.0.1 6000 타입 203
시작 SPE... 0 45180 Randwriter 3
랑 연결 127.0.0.1 45180 연결 연결 SPE 127.0.0.1


새로운 3 Job/tmp/guide.dat 0 1
완료 127.0.0.1 46922
데이터를 보내는 다시... 0
127.0.0.1 6000 21,test/sort_input.0.dat,0,1245914946,100000000
127.0.0.1 6000 25, 테스트/sort_ input.0.dat.idx,0,1245914946,8000008
recv cmd 127.0.0.1 6000 유형
Comp 서버 폐쇄 127.0.0.1 46922 2
담당자 Ortsphere 127.0.0.1 6000 3

통해 부문 시스템 정보 보기. / sysinfo.

데비안: ~ / codeblue2/클라이언트/도구 #/ sysinfo
부문 시스템 정보:
목 6 월 25 일 이후 실행 03시 28분: 39 2009
사용 가능한 디스크 크기 27413 MB
총 파일 크기 102 MB
파일 2의 총 수
슬레이브 노드 1의 총 수
------------------------------------------------------------
클러스터 4의 총 수
cluster_id total_nodes availdisk (MB) 파일 크기 (MB) netin (MB) netout (MB)
0:1 27413 102 0 0
1:0 0 0 0 0
2:0 0 0 0 0
3:0 0 0 0 0
------------------------------------------------------------
slave_id IP TS (미국) availdisk (MB) totalfile (MB) 메모리 (MB) CPU (미국) netin (MB) netout (MB)
1:127.0.0.1 1245915399257411 27413 102 0 3440000 0 0

데비안: ~ / codeblue2/클라이언트 / #/ls/ 도구
< Dir > 테스트
데비안: ~ / codeblue2/클라이언트/도구 #/ ls/테스트
Sort_input.0.dat 100000000 바이트 6 월 25 일 (목) 03시 29분: 06 2009
Sort_input.0.dat.idx 8000008 바이트 6 월 25 일 (목) 03시 29분: 06 2009

테스트 데이터 생성 된 알 수 있습니다.

TESTDC를 사용 하 여 시퀀싱 실험을 할 수 있습니다.

데비안: ~ / codeblue2/클라이언트/예제 #/ TESTDC
시작 시간 1245915520
작업 100000000 1000000
셔플 127.0.0.1 요청 41406
1 Spe 발견! 1 데이터 seg 총입니다.
SPE 127.0.0.1에 연결 5
1 단계 수행 1245915552
작업 100000000 1000000
2 Spe 발견! 데이터 세 그 총
SPE 127.0.0.1에 연결 6
SPE 127.0.0.1에 연결 7
2 단계 달성 1245915557
SPE 완료
데비안: ~ / codeblue2/클라이언트/보기 #

Wordcount 예제를 실행에서이 하 둡에 해당 예 예제가 실려 있다.

debian:~/codeblue2/client/tools#./mkdir html
데비안: ~ / codeblue2/클라이언트/도구 #/ Mv.cpp을 업로드
사용법: 업로드 < src 파일/dir >< dst dir >
데비안: ~ / codeblue2/클라이언트/도구 #/ mv.cpp/html을 업로드
1821 바이트의 Mv.cpp을 업로드
File/html/mv.cpp 127.0.0.1을 열고 60833
교양 업로드! AVG 0.0121632 MB/s 속도.

데비안: ~ / codeblue2/클라이언트/도구 # CD... /examples/
데비안: ~ / codeblue2/클라이언트/예제 #/ wordcount
시작 시간 1245915644
일 1821-1
셔플 127.0.0.1 요청 41406
1 Spe 발견! 1 데이터 seg 총입니다.
SPE 127.0.0.1에 연결 10
1 단계 수행 1245915645
SPE 완료
데비안: ~ / codeblue2/클라이언트/보기 #

관심 있는 학생 들은 http://sector.sourceforge.net/to 좀 더 많은 정보를 방문할 수 있습니다.