불꽃으로 아파치 탑 프로젝트 MapReduce를 대체

아파치 불꽃은 불꽃 안정성 향상 및 대용량 데이터 응용 프로그램의 다음 세대에서 mapreduce 상태를 대체 하는 데 도움이 Apche 최상위 프로젝트에 지금 업그레이 드 메모리 데이터 처리 프레임 워크.

스파크는 최근 되었습니다 매우 강한 mapreduce 추세를 대체. 이 화요일, 아파치 소프트웨어 재단 최상위 프로젝트를 업그레이드 하는 불꽃을 발표 했다.

Mapreduce와 성능 및 속도의 사용의 용이성, 스파크는 현재 큰 사용자와 참가자 지역 사회가 있다. 이 더 낮은 대기 시간, 실시간 처리, 반복 컴퓨팅 큰 데이터 응용 프로그램 요구 사항을 다음 세대에 맞춰 불꽃을 의미 합니다.

스파크, 버클리, 캘리포니아 대학교의 설립자 지금 스파크의 상용화를 촉진 하는 Databricks 라는 회사를 시작 했다.

기술적으로, 스파크는 독립 실행형 프로젝트와는 Hadoop 분산 파일 시스템 (HDFS), HDFS에 직접 실행할 수 있는 작동 하도록 설계 되었습니다 SIMR 사용자가 할 수 있지만 mapreduce 원사 (에서 관리자 권한 및 설치, 및 혜택 없이 클러스터 다음 세대 Hadoop 리소스 계획 및 리소스 관리자, 스파크 이제 MapReduce로 동일한 클러스터에서 실행할 수 있습니다. Hadoop 엔터프라이즈 응용 프로그램의 선구자 Cloudera 스파크 엔터프라이즈 응용 프로그램 지원을 고객에 게 제공을 시작 했다.

비록 많은 새로운 프로젝트 (와 같은 Hortonworks의 스 팅 어) 다른 처리 프레임 워크를 채택, mapreduce 및 스파크 부족 많은 (돼지와 같은 casading), 도구와 특정 일괄 처리 작업 MapReduce 여전히 좋은 선택입니다. 지적 Cloudera 공동 설립자로 서 마이크 올 슨: MapReduce는 짧은 시간에 대 한 전송 되지 않습니다 레거시 작업의 많은 경우에 불꽃.