재고 9 인기 있는 오픈 소스 대규모 데이터 처리 기술

글로벌 기업 및 개인 데이터 폭발로 데이터 자체를 대체 소프트웨어와 하드웨어는 다음 큰 "유전" 정보 기술 산업 및 글로벌 경제 운전으로.

PC와 웹 같은 오류 형식 정보 기술 혁명에 비해, 큰 데이터의 가장 큰 차이 그것이 혁명 "오픈 소스 소프트웨어"에 의해 구동입니다. 큰 데이터를 IBM과 오라클 등 거 인에서 신생, 조합의 오픈 소스 소프트웨어와 큰 데이터는 산업 파괴 세력, 놀라운 생산과 vm 웨어, 독점 소프트웨어에 전적으로 의존 하는 데 사용, 오픈 소스 및 큰 데이터 도구를 수용 했다.

아래, 우리는 당신의 참고를 위한 9 개의 가장 인기 있는 대형 데이터 오픈 소스 기술을 나열 됩니다.

I. 둡

아파치 하 둡은 대용량 데이터의 분산된 처리를 가능 하 게 하는 오픈 소스 소프트웨어 프레임 워크. 아파치 소프트웨어 재단에 의해 2005가을에 Lucene 하위 프로젝트 Nutch, 개발자 더 그의 Hadoop의 일환으로 도입 원래 절단 Nutch, 절단 구현 MapReduce 기능 및 분산 파일 시스템 (HDFS)의 오픈 소스 웹 검색 엔진의 요구를 처리 하는 클러스터에 맞게 Hadoop를 개발 하 고 Hadoop에 그것을 통합. Hadoop의 이름은 절단의 아들의 장난감 코끼리에 의해 영감 이다. Mapreduce, hadoop, 의해 큰 데이터는 작은 조각으로 분해 하 고 모든 일반적인 서버 노드에 배포. Hadoop은 현재 가장 인기 있는 큰 데이터 (구조화, 반 구조화 및 구조화 된 데이터를 포함 하 여) 저장, 처리 기술입니다. Hadoop의 오픈 소스 권한 부여 방법은 아파치 License2.0입니다.

Ii입니다. R

R은 오픈 소스 프로그래밍 언어와 소프트웨어 환경 데이터 마이닝/분석 및 시각화에 대 한 설계 되었습니다. R S 언어의 구현입니다. S 언어에 의해 개발 된 해석 언어 & t 벨 연구소 데이터 탐색, 통계 분석 및 그리기의 일종 이다. 원래, S 언어의 구현 버전은 주로 s 플러스. 하지만 S-플러스 상업적인 소프트웨어, 오픈 소스 R 달리 언어는 대중적, "빨간 모자 통계 커뮤니티의."로 알려진

"데이터 마이닝/분석 도구를 실제 프로젝트에 과거에 12 개월 사용"의 조사에 R는 1 위 KDNuggets2012에 투표의 30.7%와 목록 Microsoft Excel (29.8%)과 RapidMiner (2010, 2011)를 능가. 특히, 상위 5 개 데이터 마이닝 도구 4 올해는 오픈 소스 소프트웨어. 또한, R은 또한 물리 치고 SQL 및 자바, 프로그래밍 언어 순위는 가장 인기 있는 데이터 마이닝 응용 프로그램에서 먼저 순위 있습니다.

Iii. 계단식

Hadoop의 오픈 소스 소프트웨어 추상화 계층으로 계단식 만들고 어떤 JVM 기반 언어를 사용 하 여 Hadoop 클러스터에 데이터 처리 작업을 수행 하는 사용자 수 있습니다. 계단식 아래쪽 mapreduce 작업의 복잡성을 숨길 수 있습니다. 크리스 Wensel 디자인 연계는 MapReduce에 대 한 대기 API 설계 되었습니다. 계단식 광고 방향 통계, 로그 파일 분석, 생물 정보학 분석, 기계 학습, 예측 분석, 웹 콘텐츠 텍스트 마이닝 및 ETL 응용 프로그램에서 자주 사용 됩니다. 계단식의 비즈니스 지원 동시, 여 회사 만든 계단식의 디자이너 Wensel에 의해 제공 됩니다. 캐스케이딩 사용 하는 유명한 웹사이트 트위터 등 Etsy입니다. 오픈 소스 GNU 아래 계단식.

Iv입니다. 학자

학자는 2008 년에 출시 하는 페이스 북에 의해 개발 된 서버 소프트웨어입니다. 학자는 많은 실시간으로 서버에서 로그 파일을 집계 수 있습니다. 페이스 북의 디자인 학자 자체 배율 문제를 다루는 설계와 페이스 북의 수백만의 수만 다루는 학자 지금 사용 메시지 하루. 학자는 아파치 License2.0에서 오픈 소스.

V. Elasticsearch

Elasticsearch Apachelucene에 따라, 개발자는 셰이 Banon. Elasticsearch은 분산된 편안한 오픈 소스 검색 서버와 확장 가능한 솔루션 그 지원 근처 실시간 검색 및 특별 한 구성 없이 멀티 테 넌 트. 많은 회사는 Elasticsearch, StumbleUpon 등 모질라 파이어 폭스를 채택 했습니다. Elasticsearch는 아파치 License2.0 권한 부여 방법에 따라 오픈 소스.

6, 아파치 HBase

HBase는 HDFs에서 실행 되는 확장 가능한, 열 방향으로 나열, 분산, 관계형 데이터베이스 이다. HBase는 Java 언어로 작성 하 고 큰 테이블 (큰 테이블)에 대 한 구조화 된 데이터 저장소를 지원 합니다. HBase의 장점은 내결함성 저장소를 만들 수 있습니다을 대규모 스파스 데이터에 빠르게 액세스할 수 있습니다. HBase는 지난 몇 년 동안에 나왔다 NoSQL 데이터베이스의 대표자 중 하나입니다. 페이스 북은 HBase 오픈 소스 아파치 License2.0에서 2010 년에 메시지 플랫폼 구축 HBase를 사용.

7, 아파치 카산드라

아파치 카산드라는 오픈 소스 분산 데이터베이스 관리 시스템 사용자의 받은 편지함을 검색 하는 데 사용 되는 페이스 북에 의해 개발, 카산드라는 NoSQL 데이터베이스 이기도. 2010 년 페이스 북 대신 HBase를 사용 하 여 카산드라를 포기. 하지만 카산드라는 여전히 비디오 서비스에 대 한 배경 데이터베이스로 카산드라를 사용 하 여 넷 플 릭 스 같은 회사에 의해 사용 되 고 있습니다. 카산드라는 아파치 License2.0에서 오픈 소스.

Viii입니다. MongoDB

더블 설립자에 의해 개발, MongoDB는 인기 있는 오픈 소스 NoSQL 데이터베이스입니다. MongoDB 동적 모드 Bson 클래스 JSON 문서에 구조적된 데이터를 저장합니다. MongoDB는 MTV 네트워크, 크레이그 리스트, 디즈니 인터랙티브 미디어 그룹, Etsy, 뉴욕 타임스 등 많은 대형 기업에 의해 채택 된다. MongoDB 오픈 소스 GNU 아래 이며 10gen 사업 허가입니다.

9, 아파치 CouchDB

아파치 Couchdb는 오픈소스 NoSQL 데이터베이스 이기도합니다. JSON을 사용 하 여 데이터를 저장, 쿼리 언어 및 Api MapReduce 및 HTTP를 사용 하 여 JavaScript를 사용 하 여. COUCHDB는 대규모 개체 데이터베이스에 대 한 스토리지 시스템으로 전 IBM Lotus Notes 개발자 데이 미 언 카 츠에 의해 개발 되었다. 참고 미디어 그룹 BBC COUCHDB를 사용 하 여 동적 콘텐츠 플랫폼, 아파치 License2.0에서 COUCHDB 오픈 소스.

당신이 좋아하는 것 같아요:

1. 좋은 데이터 처리 기술

2. 대규모 데이터 처리 기술--파이썬

3. 대규모 데이터 처리 기술-5 오픈 소스 기술의 도입 동향