빅데이터

Hadoop은 추출, 왜곡 및 로드 (ETL)의 분야에서 자신의 자연 이점을 누릴 큰 데이터 처리 응용 프로그램에서 널리 사용 됩니다. 어디 큰 데이터 처리 엔진은 가능한 저장소를 닫습니다, Hadoop의 분산된 아키텍처는이 같은 일괄 처리 결과 저장소로 직접 이동할 수 있기 때문에 상대적으로 ETL, 같은 일괄 처리 작업에 적합 합니다. Hadoop의 MapReduce 기능을 사용 하면 단일 작업을 중단 하 고 단일 데이터 집합에 로드 하기 전에 여러 노드에 조각난된 작업 (지도)를 보낼 수 있습니다...

3 월 14 일, IDC "중국 Hadoop MapReduce 생태계 분석" 보고서, 보고서 지적 했다 중국에서 Hadoop 응용 프로그램은 인터넷 기업에서 점차적으로 확장 통신, 금융, 정부, 의료에 이러한 전통 산업의 최근 출시를 발표 했다. 현재 Hadoop 시나리오는 주로 로그 저장소, 쿼리 및 구조화 되지 않은 데이터 처리 기반, Hadoop 기술의 세련의 개선과 생태계 관련 제품의 주류 상업적인 소프트웨어 공급 업체의 Hadoo로 서 SQL, Hadoop의 증가 지원을 포함...

베이징, 3 월 17 일 IDC)-중국에서 Hadoop 응용 프로그램은 되 고 연장 인터넷 회사에서 통신, 금융, 정부, 의료 산업, 회사의 중국 Hadoop mapreduce 생태계 분석에서 최근에 출판 된 보고서. 현재 Hadoop 시나리오는 주로 로그 저장소, 쿼리 및 구조화 되지 않은 데이터 처리 기반, Hadoop 기술의 세련의 개선과 생태계 관련 제품의는 주류 상업적인 소프트웨어 공급 업체로 서 SQL, Hadoop의 증가 지원을 포함...

큰 데이터 프로젝트를 수행 하는 기업에 의해 직면 하는 주요 결정 중 하나는 사용, SQL 또는 NoSQL 데이터베이스? SQL은 인상적인 성능을, 거 대 한 설치 기준, 그리고 NoSQL 상당한 수익을 얻고 있다 많은 지지자. 　　이 문제에 대 한 두 전문가의 견해를 살펴 보자. Experts· VOLTDB의 최고 기술 책임자, 라이언 Betts, 말한다 SQL이 겼 다 큰 회사의 광범위 한 배포 및 큰 데이터를 지원할 수 있는 또 다른 지역 이다. Couchba...

최신 포레스트 보고서, 많은 기업 들은, 구조적, 구조화, 반 구조화 및 이진 데이터를 포함 하 여 데이터의 방대한을 활용할 려 고 큰 데이터를 사용 하 여. 다음은 보고서의 결론 중 일부: 대부분 회사 예상만 12%의 기존 데이터를 분석 하는 그들은 나머지 88%는 완전히 활용 하지. 데이터 아일랜드 및 분석 능력의 많은 수의 부족은이 상황의 주요 원인입니다. 또 다른 문제는 데이터 귀중 한 인지 여부를 판단 하는 방법. 특히 큰 데이터 나이에서 수집 하 고이 데이터를 저장 해야 합니다. 하나...

중국에서 Hadoop 응용 프로그램은 통신, 금융, 정부, 인터넷 기업에서 확대 하 고 의료, IDC의 최근에 따르면 중국의 Hadoop의 MapReduce 생태계 분석 발표 했다. 현재 Hadoop 시나리오 로그 저장, 쿼리 및 구조화 되지 않은 데이터 처리, Hadoop 기술의 세련 및 SQL, 및 주류 비즈니스 소프트웨어 공급 업체, 하 둡에 대 한 성장 지원을 위한 Hadoop의 증가 지원을 포함 하 여 생태계 관련 제품의 세련미에 의해 지배 하는 동안 예...

대용량 데이터 분석의 사용자가 큰 데이터 분석 전문가, 또한 일반 사용자가 있지만 모두 큰 데이터 분석의 가장 기본적인 요구 사항에 대 한 훈련 데이터 분석가 시각적 분석, 시각적 분석 시각적으로 큰 데이터 특성을 표시할 수 있습니다. 있기 때문에 매우 쉽게 http://로 독자에 의해 허용 될 수 　　Www.aliyun.com/zixun/aggregation/12897.html "> 그림 보면 간단 하 고 명확한 이야기. 대용량 데이터 분석의 이론의 핵심 데이터 마이닝 알고리즘, 데이터 발굴의 모든 종류는...

큰 데이터에 포함 된 값은 Hadoop 및 관련된 도구 개발자가 어려움을 만날 때 자신을 동기 부여에 대 한 원동력이 되었습니다. 　　큰 데이터 및 서비스 공급자, Wikibon에 의해 조사 많은 회사의 기술자는 종종 효과적으로 사용 하는 복잡 한 hadoop 훈련 부족을 말한다. 조나단 그레이, 설립자 이자 CEO의 Continnuity, 훈련 많은 둡 전문가 생산 하도록 설계 되지 않았습니다 하 고 기업 개발자를 돕기 위해 더 나은 도구를 개발에 집중 해야 했다...

왜 R 언어를 결합 하는 둡 게? R 언어와 Hadoop 우리 모두 기술 각 분야에서 강력한 지를 실현 하자. 많은 http://www.aliyun.com/zixun/aggregation/7155.html "> 개발자 컴퓨터의 관점에서 다음과 같은 2 가지 질문을 물어볼 것입니다. 　　문제 1:hadoop 가족은 너무 강력 하다, 당신은 왜 R 언어를 결합 하 시겠습니까? 문제 2:mahout 또한 데이터 마이닝을 할 수 있고, 기계 학습...

큰 데이터 기술 모델, Hadoop은 항상 축복 하 고 저주 큰 데이터를 사용 하는 기업. Hadoop은 강력한, 하지만 매우 복잡 하 게 뭔가 쉽게 밖으로 나올 하 고 큰 데이터 프로젝트를 시작 기다릴 것을 선호 하는 많은 기업. 기다림이 끝났습니다. Hadoop은 Hortonworks 및 Cloudera, 절반으로 Hadoop의 학습 곡선을 감소 같은 공급 업체에서 중요 한 사용의 용이성 향상을 꾸준히 진행을 하 고 있습니다. 큰 데이터 및 기본 ETL 작업에서 마이그레이션할 Hadoop에 점점 회사 포용 하...

자바 웹 개발, 그것은 종종 http://www.aliyun.com/zixun/aggregation/16544.html 많은 양의 데이터 내보낼 필요가 "> 엑셀, JXL 직접 Excel 생성 POI를 사용 하 여, 　　메모리 오버플로우를 발생 하는 것이 쉽습니다. 　　1, 방법, CSV 서식 파일에 데이터를 작성 하는 것입니다. 　　Excel과 직접 1 CSV 파일을 열 수 있습니다. 2 쓰기 CSV 파일 효율성 있고 TXT 파일 효율...

SQL Server를 실행 하는 Microsoft 고객 큰 http://www.aliyun.com/zixun/aggregation/14345.html를 얻게 될 것 이다 > Hadoop의 도입을 통해 데이터 처리 기능. 마이크로소프트는 초기 단계 수 있도록 코드를 SQL Server 2008 R2, SQL Server 병렬 데이터 웨어하우스, 그리고 마이크로소프트의 차세대 자바 아키텍처에 액세스 하는 고객을 발표 했다...

FTP 호스트에서 XX 데이터 파일을 가져가 라. 　　수만 아니라 개념, 수백만 이상의 수만 보다 분산된 수집 및 저장 데이터 공유의 수백만의 수만 포함 하지 않는.는 시스템에서 데이터의 처리 데이터의 양이 매우 큰, 만약 내가이 경험, 분산 처리, 고려할 수 있는 경우와 같은 대표 데이터 공유 하는 시간 있을 것입니다. 　　1, 2, FTP 도구 응용 프로그램 수만이 작품 만큼 파일을 FTP 주요 부품의 목록 디렉터리의 핵심 이루어집니다, 기본적으로 성능이 너무 큰 문제가 되지 않습니다. 전달할 수 있는...

우리 모두가 알다시피, 자바 데이터의 처리에는 상대적으로 큰, 메모리에 로드 됩니다 필연적으로 이어질 하지 일부 http://www.aliyun.com/zixun/aggregation/14345.html에 메모리 오버플로 "> 　　데이터 처리 우리가 대규모 데이터를 다루는 데이터 처리를 하 고, 우리의 일반적인 의미는 분해, 압축, 병렬, 임시 파일 및 다른 방법; 예를 들어 우리가 싶은 파일을 어떤 데이터베이스에 관계 없이 데이터베이스에서 데이터를 내보낼 Excel 일반적으로 또는...

Hadoop을 선택 하는 가장 중요 한 이유는 3 포인트: 1, 문제 해결, 2, 낮은 비용, 3, 생태 원을 성숙 수 있습니다. 　　하나, Hadoop 우리 모두 국내 어떤 문제를 해결 하는 데 도움이 및 외국 대기업 데이터에 대 한 만족할 줄 모르는 갈증 있고 것입니다 할 정보의 비대칭은 끊임없이 만들어지고 사용할 수 있기 때문에 그들은 모든 데이터를 수집 할 수 있는 모든 것, 그리고 많은 정보 얻어질 수 있다 데이터 분석을 통해. 데이터의 소스는 아주 많이, 시간 데이터 데이터 형식 더 복잡 한...

오픈 소스 아파치 하 둡 프로젝트 핫 스폿이 되었으며 그것 일 구직자 Hadoop 및 관련된 기술에 대 한 좋은 소식입니다. 매트 Andrieux, 샌 프란 시스 코의 리비에 라 회사, 기술 채용의 머리 그 Hadoop 및 관련된 기술에 대 한 수요가 되었습니다 직선 경향에 지난 몇 년 동안 우리에 게 말했다. "우리의 분석 결과 대부분 채용은 신생 기업, 그리고 그들은 엔지니어의 많은 모집은," Andrieux는 이메일 인터뷰에서 말했다.

1. a, b 두 파일을 각 저장소 5 십억 Url, 64 바이트를 차지 하 고 각 URL 주어진 메모리 한계는 4 G, 찾을 수 a, b 파일 일반적인 URL? 시나리오 1: 각 파일의 크기는 50gx64 수를 예상할 수 있는 = 320 g, 4g의 메모리 제한 보다 훨씬 더 큰. 그래서 완전히 메모리 처리에 로드 수는 없습니다. 　　분할 정복 방법을 사용 하는 것이 좋습니다. s 파일 A를 통과 하 고 각 URL에 대해 묻습니다 다음 얻은 값에 따라 (기록)의 작은 파일 1000 개를 URL을 저장 합니다. 이...

오라클 이진 데이터를 저장 하기 위한 BLOB 필드를 정의 하지만이 필드 보류 진정한 이진 데이터 하지 않습니다만 Gencun는 단어에 대 한 포인터를 수 있습니다 다음 Oracle는 포인터 지점과 LOB 세그먼트의 일부인 데이터베이스의 내부 테이블의 LOB 세그먼트에 데이터를 배치. 　　따라서, Oracle blob를 조작 하기 전에 포인터 (로케이터) 가져와야 합니다 BLOB 데이터를 읽을 수 있고 서 면 전에. 나는 테이블에 blob 포인터를 어떻게 얻습니까? 빈 B 먼저 INSERT 문을 사용 하 여 테이블에 삽입할 수 있습니다...

Http://www.aliyun.com/zixun/aggregation/13584.html의 값 데이터 인플레이션의 오늘날의 사회에서 ">"은 더 저명한 되 고 있다. 대규모 데이터에 효과적인 정보를 효과적으로 발굴 하는 방법 모든 분야에서 일반적인 문제가 되고있다. 인터넷 기업의 실제 요구에 따라, 기술 기업 기계 학습, 데이터 마이닝 및 인공 지능의 알고리즘을 사용 하 여 대규모 데이터에 포함 된 정보를 수집 하기 시작 했습니다 하 고 좋은 결과 달성 했다. ...

Hadoop은 아파치 재단의 초기 버전은 2003 원래 야 후 대용량 데이터 분산된 시스템 인프라 개발 Google의 게시 된 학술 논문을 기반으로 Dougcutting. 사용자가 쉽게 개발 하 고 배포의 기본 내용을 알고 있기 없이 Hadoop에서 데이터의 대량 처리 하는 응용 프로그램을 실행할 수 있습니다. 낮은 비용, 높은 안정성, 높은 확장성, 높은 효율성과 높은 결함 허용 기능을 만들고 Hadoop 가장 인기 있는 큰 데이터 분석 시스템, 아직 그것의 HDFs mapreduc...