클라우드 컴퓨팅 빅 데이터 분야의 스파크는 새로운 대 군주

관련 데이터에 따르면 중국의 모바일 인터넷 사용자가 2013 년 상반기에 500 백만 마크를 초과 했습니다, 그리고 국내 모바일 인터넷 사용자가 끝날 것 이다 PC, 휴대 전화 사용자 이상의 1 십억, 3g 사용자가 계속 성장, 4 G 강한 추진력에 뿐만 아니라, 모바일 대용량 데이터 폭발 양산 14, 1 분기에 예정 이다. 새로운 데이터의 많은 항상 대 두 되 고 모바일 인터넷은 인간의 삶의 모든 측면에 영향을.

이 전례 없는 시대 될 것입니다. 모든 기업과 기관 또는 모바일 인터넷 조직 되고있다. 모든 기업 및 기관이 결국 것입니다 큰 데이터 조직 클라우드 컴퓨팅. 모바일 인터넷과 클라우드 컴퓨팅 이며 궁극적으로 모든 기업과 기관의 건축, 생산, 서비스, 및 관리 패턴에 혁명을 가져올 것에 큰 데이터의 물결.

스파크-새로운 세대 전 능 하 신 큰 데이터 컴퓨팅 플랫폼 상승

큰 데이터 관련 기술 및 산업의 점진적인 성숙과 여러 종류의 대용량 데이터 분석 작업이 단일 조직 내에서 필요한 경우가 많습니다: 전통적인 Hadoop mapreduce는 Hadoop 자체의 특성 때문에 오프 라인 대량 데이터의 통계 분석에 최고의 Hadoop을 사용 하 여 대용량 데이터를 처리 하는 많은 시나리오에서 허용 되지 않습니다 하는 분 또는 몇 시간에 종종 지연 됩니다. 더 중요 한 것은, 불꽃의 도래 하기 전에 다양 한 반복 계산, 계산, 일반적인 그래프 계산, SQL 관련 쿼리, 대화형 임시 쿼리, 조직에서 스트리밍 등 대용량 데이터 분석 작업을 완료 하려면 우리가 해야 여러 독립적인 시스템을 다루는. 그것은 작업 및 차원의 복잡성을 소개 하는 한 한편으로, 다른 한편으로, 그것은 여러 시스템 간에 자주 비용이 많이 드는 데이터 덤프를 피할 수 있습니다.

스파크는 메모리에 기반, 클라우드 컴퓨팅 도메인 후 Hadoop의 화끈한 범용 병렬 컴퓨팅 프레임 워크를 오픈 소스 프로젝트, 특히 뛰어난 차세대 지원 대화형 쿼리, 흐름 계산, 그래프 계산 등.

스파크는 탁월한 기계 학습에 장점과 여러 번 반복 해야 하는 알고리즘에 특히 적합 하다. 같은 시간에 스파크 시스템의 안정적인 동작을 보장 매우 좋은 결함 허용 및 스케줄링 메커니즘, 스파크 현재 개발 개념은 컴퓨팅 프레임 워크를 통해 설정 SQL, 기계 학습, 그래프 컴퓨팅, 스트리밍 컴퓨팅 그리고 사용의 매우 좋은 쉽게 다양 한 프로젝트에서 기능에 그렇게.

최고의 장점은 클라우드 컴퓨팅 큰 데이터 도메인의 지배적인 위치를 차지를 촉발합니다

스파크는 드문 만능 선수, 여러 번 반복, 절충 주의 데이터 웨어하우징, 스트리밍로 시작 그리고 컴퓨팅 패러다임을 그래프 컴퓨팅 플랫폼 이며 메모리 컴퓨팅 기반 Hadoop 보다 더 성능이, 버클리 캘리포니아 대학교의 Amplab에서 발생 하는 클러스터입니다. 불꽃은 이제 아파치 재단 (활성 개발자의 숫자는 Hadoop MapReduce를 능가 했다) 거 대 한 커뮤니티 지원에 대 한 최고의 오픈 소스 프로젝트와 기술 성숙.

클라우드 컴퓨팅 및 빅 데이터의 다음 세대를 위한 핵심 기술로, 불꽃 Hadoop은 100 번 이상 배 Hadoop 보다 빠른 속도 혁신적인 Hadoop에 유일한 대안 이다. Hadoop에 탁월한, 오프 라인 데이터 통계 분석의 분야에도 스파크는 적어도 기 진행 둡; 보다 빠릅니다. 또 다른 소중한 장점은 스파크: "그들 모두를 지배 한 스택", 불꽃 채택 클라우드 컴퓨팅, 스트림 처리, 그래프, 기계 학습, NoSQL 쿼리, 기술과 완벽 한 생태계 등의 모든 핵심 문제를 해결 하기 위해 통합된 기술 스택 이 직접의 통합된 클라우드 컴퓨팅 큰 데이터 도메인;의 지배적인 위치를 낳는다

응용 프로그램 상태 및 불꽃의 미래 발전

현재, 스파크 스트림 처리, 그래프 기술, 기계 학습, NoSQL 쿼리에는 그들의 자신의 기술와 같은 그것의 자신의 큰 데이터 처리 생태계 구축 이며 아파치 탑 프로젝트 그것은 지역 사회에서 폭발적인 성장과 2014 2015의 두 번째 절반에 상용 애플 리 케이 션 있을 것입니다 예상 될 수 있다.

일부 대형 외국 인터넷 기업 이미 배포한 스파크.도, 야 후, 하 둡에 이른 큰 기여는 이제 여러 프로젝트;에 스파크를 배포 국내 taobao, Youku 감자, NetEase, 바이, Tencent, 등 사용 불꽃 기술 그들의 자신의 상업 생산 시스템에 대 한 응용 프로그램 국내외에서 더 광범위 하 게 되고있다.

몇 시간 전, Mahout Mahout 커뮤니티는 이제 그들은 더 이상 mapreduce 형태로 구현 하는 모든 알고리즘을 받아들일 것입니다 하지만 그들은 여전히 이러한 일반적인 알고리즘의 mapreduce 구현 유지 했다 중요 한 메시지를 발표 했다. 다른 한편으로, Mahout에는 스파크, 불꽃의 풍부한 프로그래밍 모델을 믿는 사람에 따라 새로운 알고리즘 구현 될 및 더 나은 성능을 Mahout에 중요 한 역할을 할 것 이다 발표 했다. 다른 한편으로, 프레임 워크 오릭스 오릭스도 사용 하 여 mapreduce. 표시가 불꽃 스파크에 대 한 실행 엔진 다양 한 대학살을 시작 했다 고 매우의 새로운 세대를 위한 사실상 표준을 지 고의 희망입니다 학습 Cloudera의 기계 기계 학습 배포. 기다려 하 고 참조 하자. 불꽃은 점차적으로 성숙 하 고이 분야에서 더 중요 한 역할.