웹사이트 운영

MapReduce 사용자 인터페이스 mapreduce-사용자 프로그래밍을 설명 하는 뒤에 책 계속 일부 인터페이스 또는 클래스 세부 정보를 사용 하 여 프로그래밍 인터페이스는 다음에 집중할 것 이다 사용자의 MapReduce 프레임 워크 자주. 이것을 이해 하는 것은 크게 도움이 됩니다 달성 하 고, 구성 하 고 미스터 작업을 최적화. 물론 Javadoc 각 클래스 또는 인터페이스의 더 포괄적인 문이 있으며 여기 그냥 가이드 튜토리얼입니다. 다시 지도 제공 하기 위해 두 인터페이스를 구현 하 미스터 응용 프로그램에서 일반적으로 사용 되는 매퍼 및 감속 기 인터페이스에서 최초...

* 파일 작업 * 보기 디렉터리 파일 * $ hadoop DFS-LS/사용자/CL * * 파일 디렉토리를 생성 * $ hadoop dfs mkdir/사용자/cl/온도 * * http://www.al iyun.com/zixun/aggregation/18137.html "> 파일 삭제 * $ Hadoop dfs-rm...

MapReduce 프로그램 작동 하는 방법 알고, 다음 단계는 코드를 통해 구현 하는. 우리는 세 가지가 필요 합니다: 지도 기능, 감소 기능 및 작업을 실행 하는 일부 코드. Map 함수는 지도 () 메서드를 선언 하는 매퍼 인터페이스 구현으로 표시 됩니다. 　　예제 2-3 우리의 지도 기능 구현을 보여 줍니다. 예를 들어 2-3. 매퍼 가져오기 java.io.IOException;의 최고 온도 찾기 & http...

Pi에 대 한 모두가 잘 알고 있다: 우리는 1000 년 이상 전에, 빠르면를 교과서 zu Chongzhi에서에서 배울 ' pi 3.1415926 3.1415927 하 하... 컴퓨터의 탄생 후 pi 컴퓨터 하드웨어 성능, 낮과 밤 굽기 문제 인지 CPU를 감지 하는 데 사용은 계산... 다른 사람 또한 몇 가지 우주의 비밀을 발견 하 무한 한 확장의이 신비한 그림 뒤에 규칙 인지 확인 하려면... Fabrice Bellard, 언급 수 없습니다 언급 PI, 그는 컴퓨터 천재 이라고 여겨진다, 업계에...

유타 주 사막에서 국가 안보국의 "대규모 감시" 데이터 센터 화면 하 고 지리적 위치에서 세계의 네트워크 소통량의 대부분, 오디오 및 비디오 파일, 전자 메일, 인스턴트 메시징, 소셜 네트워크와 다른 디지털 문서를 분석할 수 있습니다. 물론, 그것은 단지 우리의 디지털 발자국을 추적할 수 있는 NSA 하지만 개인 기밀의이 시간에 정부 및 비즈니스 회사의 모든 종류 우리의 단어와 모든 움직임을 마스터 하실 수 있습니다. 　　일반 네티즌으로 자신을 보호 하기 위해 신뢰할 수 있는 방법은 무엇입니까? 앞서 워싱턴 포스트 NSA 감시를 피하기 위해 5 개인 준...

hadoophttp://www.aliyun.com/zixun/aggregation/17253.html > 자주 묻는 질문:-- ---Mapred를 경고 한다. localjobrunner:job_local910166057_0001 조직...

SDN (소프트웨어 정의 네트워크 소프트웨어 정의 네트워크)은 데이터 센터의 새로운 세대에 인기 있는 기술입니다. 모든 주요 네트워크 장비 제조업체 실행 한 그들의 자신의 SDN 전략, 경쟁의이 새로운 분야에서 상상. 그러나, IDC의 최신 연구 결과 따르면: 2013 년 전체 엔터프라이즈 네트워크 산업 시장 가치는 42 십억 미국 달러의 거의 절반에서 2 ~ 3 레이어 네트워크 스위치 시장, SDN 시장만 168 백만 달러, 그리고 2016 SDN 시장 2 십억 달러에 도달할 수 있습니다. 전체 네트워크 라인에서...

1, 메타 데이터 (메타 데이터): 유지 보수의 HDFs 파일 시스템 파일 및 디렉터리 정보를 메모리 메타 데이터 및 메타 데이터 파일 두 종류를 나누어. Namenode는 전체 메타 데이터를 유지합니다. HDFs 구현, 주기적으로 메타 데이터를 내보내는 방법을 채택 하지 하지만 메타 데이터 파일 (fsimage) + 날 파일 (편집) 미러링 백업 메커니즘을 채택 했다. 2, 블록: 파일의 내용. 검색 경로 흐름: & http://www.aliyun.com/zixun/aggregation/37...

다음은 내 하이브 설치 과정: 하이브 Hadoop에서 가장 일반적으로 사용 되는 도구, 필요한 도구 라고 할 수 있다. 컴파일, SVN 다운로드를 사용 하는 것이 좋습니다 공식 아파치 문서에 따르면 문서 주소: 빌드 하지만 Https://cwiki.apache.org/confluence/display/Hive/AdminManual+Installation 의존, 때문에 아주 긴 시간, 많은 패키지 또한 성공 하지 않았다. Tar.gz 가방, 권장된 사용 직접 앤...

1, namenode 시작 로드 메타 데이터 시나리오 분석 Namenode 함수 호출 Fsnamesystemm 읽기 dfs.http://www.aliyun.com/zixun/aggregation/11696.html "> Namenode.name.dir 및 Dfs.namenode.edits.dir Fsdirectory를 빌드합니다. Fsimage 클래스의 Recovertransitionread 및...

단점은 HDFS를 사용 하 여 사용을 사용 하 여 많은 수의 작은 파일을 저장 하는: 1. Hadoop Namenode 메모리에 모든 파일에 대 한 "메타 정보" 데이터를 저장. 통계에 따르면, 각 파일 NameNode600 바이트의 메모리를 소비 해야 합니다. 저장 해야 하는 경우 많은 수의 작은 파일에는 namenode 큰 압력을 발생 합니다. 2. 만약 Hadoop MapReduce 작은 파일 처리, 다음 맵 편집기의 숫자를 사용 하 여 선형 상관 관계에 작은 파일의 수를 있을 것입니다 (참고: Filei...

예를 들어 hadoop0.21를 가져가 라. Namenode.java: 주요 유지 보수 system 네임 스페이스 파일 및 메타 데이터 파일, 다음 코드에 대 한 설명입니다. / * * * & http://www.aliyun.com/zixun/aggregation/37954.  HTML > nbsp; ...

GitHub은 개발자 의사 소통을 위한 플랫폼을 제공 하는 오픈 소스 소프트웨어 협업 플랫폼입니다. Git는 리눅스 커널 코드의 개발을 관리 하기 위해 리누스 토발즈에 의해 작성 된 분산된 소프트웨어 버전 관리 프로그램이 원래. GitHub는 Git의 코드 호스팅, http://www.aliyun.com/zixun/aggregation/9591.html 구현 "> 버전 관리 기능, 그리고 당신이 포크 프로젝트를 통해 프로젝트 개발 팀에 합류 수 있습니다.

최근 몇 년 동안, NoSQL 데이터베이스의 개발은 더 뜨거운 되고있다 하지만 이것은 아닙니다 거 대 한 양의 데이터를 SQL 쿼리의 지식의 얻을에서 직접 수 개발자가 원래 포기 것입니다. 원본 동영상 보기 (벽을 대칭 이동 하는 필요)를 방문 하시기 바랍니다 http://www.aliyun.com/zixun/aggregation/13821.html에 Sqlstream CEO 데미안 블랙 "> gigaom 가져온 구조 회의 그들의...

1 Hadoop 클러스터 계획 1.1 총 A, B, C 3 기계; 　　1.2 마스터, b slave1, Slave2;으로 c A 1.3 IP & http://www.aliyun.com/zixun/aggregation/37954.html "> nbsp; 한: 192.168.1.103; b:192.168.1.104; c:192.168.1...

오늘, 난 3 기조 연설, 토론 기술 공급 업체의 많은와 8, 42 세션에 참석, 정말 큰 강타 하루. Hadoop 이래, 7 년 동안 주변 되었습니다 하 고 올해는 많은 새로운 변화를 보았다: 1, Hadoop 산업 데이터 표준 오픈 소스 소프트웨어, 데이터 처리 용량 (가트너)의 많은 수를 제공 하는 분산된 환경에서의 집합으로 인식 된다. 거의 모든 주요 제조 업체는 하 둡 개발 도구, 오픈 소스 소프트웨어, 고급 도구 및 기술 서비스 돌고 있다. 올해, 그것 기업와 같은 큰...

Cos에 대 한 및 DSCP, 분류에 대 한 조건 그냥 스스로 신뢰를 설정할 수 있습니다. 그리고 Cos 및 DSCP 거기는 패킷의 우선 순위 간의 매핑을, 그냥 다른 혼잡의 비율 무시 때 대역폭 리소스의 큐에서 다른 큐를 선택 하는 패키지의 우선 순위에 따라 서로 다른 우선 순위를 식별. 서비스 품질 목표를 달성 하십시오. QoS의 구현은 IETF의 DiffServ 시스템을 기반으로 합니다. DiffServ 시스템 규정 각 전송 메시지는 네트워크에 다른 카테고리로 분류 됩니다, 분류 정보 차이, IP 메시지 헤더에 포함 되어...

삭제 볼륨 오류 http://www.aliyun.com/zixun/aggregation/16539.html에 볼륨을 만드는 이후 오랜 시간이 되었습니다 "> error_deleting 주, 내가 어제, 볼륨을 삭제 하면이 문제 했다 그리고 여기 해결책을 기록 하는 방법. Note 난 여기 iSCSI 모드와 백 엔드에 대 한, 특히 나 여기 TGT + LVM 방법입니다. 현재 V의 삭제를 발생 원인...

Hortonworks는 Apache Hadoop의 다음 세대의 미리 보기 릴리스를 발표 했다. 　　아파치 Hadoop 약속 데이터 처리 플랫폼에 대 한 분석에 적용할 수 있는 종류의 범위를 확장 합니다. 새로운 아파치 원사 스케줄러 대체 MapReduce Hortonworks의 설립자, Hadoop, 아 룬 목요일 보다 일반적인 리소스 관리 프레임 워크를 제공 하 여 개발 핵심 엔지니어 중 하나는 말했다: "Hadoop 2.0은 기본적인 건축 변화 ...

대규모 데이터 (이 하 "빅 데이터") 전통적인 방법에서 사용 될 수 있는 데이터를 말합니다. 과거에는, 웹 검색 엔진의 창조 자는이 문제에 직면 하는 첫번째 되었습니다. 오늘, 소셜 네트워크, 모바일 응용 프로그램 및 다양 한 센서 및 과학 분야의 다양 한 매일 페타바이트의 데이터를 만듭니다. 이 대규모 데이터 처리 문제에 대 한 응답, Google는 MapReduce를 만들었습니다. Google의 작업, 그리고 야 후에 의해 만들어진 Hadoop 부 완전 한 화...