큰 구조화 되지 않은 데이터 처리 및 분석에 대 한 코드를 잠금 해제

Ufida UAP 데이터 플랫폼은 대규모 데이터 처리 및 분석 능력, 그것은 주로 의존 하 고 구조화 되지 않은 데이터 처리 플랫폼 Udh (UAP Hadoop 배포) 완료. UDH 분산 파일 시스템, 스토리지 데이터베이스, 분산된 분석 및 분산 일괄 처리, 실시간 분석 쿼리, 스트림 프로세싱 및 메모리 및 분산된 데이터 마이닝 기반 분산된 일괄 처리에 대 한 컴퓨팅 프레임 워크를 포함 합니다.

오늘날의 큰 데이터에서 기업 수 없는 맹목적으로 따라, 하지만 해야 이해 왜 큰 데이터는 뜨겁다, 왜 그것에 관심을 지불. 중요 한 이유 하나 큰 데이터는 다른 일반 데이터, 반구조적된 데이터 및 구조화 되지 않은 데이터를 많이 추가 및 그것의 순서의 크기와 값 동일 하지 않습니다.

IDC 보고서는 구조화 되지 않은 데이터 80% 차지 했다 ~ 큰 데이터의 현재 1.8 조 기가바이트에 90 %2020 44 시간으로 성장할 것 이다. 비즈니스 거래의 생산을 기록 하는 자세한 방법에 데이터 구조화 되지 않은 데이터의 구조 파악, 기업의 활력소 정보 반영 다양 한 기업에 의해 효율을 위한 기회를 향상 시킬 열쇠 인 경우에. 따라서, 구조화 되지 않은 데이터 분석의 문제를 해결 해야만 수 우리 효과적으로 이러한 데이터 뒤에 가치를 발굴 하 고 기업 가치 홍보 드라이브.

큰 데이터 관련 기술에 관해서, 많은 내부 Hadoop과 그들을 연결 합니다. Hadoop은 분산된 데이터 및 컴퓨팅에 대 한 프레임 워크, 때문에 그것은 반 구조화 된 데이터 집합의 많은 수를 저장 하기에 좋은입니다. 그것은 쉽게 분산된 병렬 프로그램을 작성 하 고 대규모 데이터 계산을 완료 하려면 컴퓨터 클러스터에 그들을 실행 하는 프로그래머를 위한 대규모 클러스터에 대량 데이터 처리에 적합 합니다.

Ufida 제품 시스템 출시 Udh Hadoop 오픈 소스 제품에 따라 그리고는 Udh 주위 기업 관리 도구와 통합, 개발, 프레 젠 테이 션 구성 요소 큰 데이터 응용 프로그램 요구 사항을 해결 하기 위해 시리즈를 개발 했습니다. 사용 기업 대규모 구조적, 비구조적 데이터를 달성 하기 위해 중앙, 통합 분석 및 요구를 처리 합니다.

▲

큰 기업 및 조직에서 제공 하는 컴퓨팅 플랫폼 개발 플랫폼, 통합된 플랫폼, 플랫폼, 비즈니스 분석 플랫폼, 데이터 플랫폼, 가벼운 플랫폼, 모델링 동적 Ufida UAP 클라우드 관리 플랫폼, 모바일 애플리케이션 플랫폼, 웹 플랫폼, RIA 플랫폼, 소셜 플랫폼 및 제품의 다른 지역. 데이터 플랫폼은 대규모 데이터 처리 및 분석 능력, 그것은 주로 의존 하 고 구조화 되지 않은 데이터 처리 플랫폼 Udh (UAP Hadoop 배포) 완료. UDH 분산 파일 시스템, 스토리지 데이터베이스, 분산된 분석 및 분산 일괄 처리, 실시간 분석 쿼리, 스트림 프로세싱 및 메모리 및 분산된 데이터 마이닝 기반 분산된 일괄 처리에 대 한 컴퓨팅 프레임 워크를 포함 합니다.

Udh 제품 아키텍처

Ufida UAP 데이터 플랫폼에 Udh 기업 클러스터 관리, 서비스 모니터링 및 통합 솔루션의 관점에서 배포 비용의 대부분을 저장할 것입니다. UDH를 사용 하 여 전체 시스템의 인간 입력 줄어들 것입니다 1 2 엔지니어는 상당히 큰 클러스터의 작동에 갈 수 있다. 일반적으로 경우에 더 큰 기술 팀 및 강한 기술적인 힘에 의해 기업 보유, 또한 개월 하거나 1 년 보다는 훨씬 더 UDH를 사용 하 여 1 개월 정도 시간을 단축 수 있습니다. 이것은 작은 비용을 의미 하기 때문에 투자에 빠른 반환에 기업에 대 한 중요입니다.

UDH 플랫폼 오픈 소스 둡, 하이브, 폭풍, 불꽃, 대규모 구조화 되지 않은 데이터 통합, 저장 및 분석 계산 커버 등에 따라 최적화 되어 있습니다. 통합된 사 보다 효율적인 스토리지 구조를 제공 하면서 다양 한 분산된 컴퓨팅 프레임 워크 (MapReduce, 스파크, 폭풍, 등)을 지원 합니다. 단일 클러스터 100 단위를 도달할 수 있다, PB 레벨 데이터를 관리할 수 있습니다.

Ufida UAP Udh 실시간 계산 및 구조화 되지 않은 데이터의 분석에서 독특한 기술적 장점이 있습니다.

첫째, 다중 클러스터 실시간 계산입니다. Udh 2 차 지연, 도달할 수 있다 그리고 예외 초에서 검출 될 수 있다. 양의 데이터를 처리할 수는 큰, 총 흐름 율에 도달 하면 적어도 100 gb/s. Udh 5 클러스터, 900 노드, 노드 당 2-4 슬롯을 제공할 수 있습니다. 무료 클라우드 스토리지 자원은 합리적으로 악용 될 수 있습니다. Udh 수 수 실시간 로그 통계, 웹 분석, 이미지 처리, 얼굴 인식 등등. 하루 120 TB 데이터의 금액에 대 한 처리, 200 십억;

둘째, 실시간 분석입니다. Udh는 흐름 유형 처리, 데이터 일괄 처리의 많은 수를 저장 하지 않고. 데이터 메모리에서 이며, 디스크를 통과 하지 않습니다. Udh는 매우 유연한 DAG를 사용 하 여 계산 모델 수 증가 또는 감소 사업에 따라 조합 계산 프로세스 볼트 필요. Udh 지원 큰 처리량, 단일 클러스터 한 토폴로지 볼트 10 동시, 10 gb/s를 처리 합니다. 비정상적인 접근 10 초;에서 검출 될 수 있다

셋째, 구조화 되지 않은 데이터 임시 분석입니다. Udh 대부분 하이브 쿼리 언어 (HIVEQL), 연속 및 집계, 쿼리를 포함 하 여의 sql-92 기능을 지원 하 고 텍스트, Sequencefile, Rcfile, Avro 파일 등 파일 포맷을 지원 하 고 마루. 와 같은 압축 알고리즘을 지 원하는 떠드는 데, GZIP, 폐, 그리고 bZIP. 일반적인 쿼리 인터페이스를 사용 하 여: Odbc/jdbc, 색조 밀랍과 Cloudera 임 팔 라 UI 쿼리. 제공 하는 명령줄 인터페이스 및 Kerberos 보안 인증;

4, 메모리 분석 계산입니다. Udh는 Hadoop mapreduce 메모리에 완벽 하 게 계산 하는 경우 보다 100 배 번 또는 10 번 이상 배 빠른 디스크 데이터를 포함 하는 경우입니다. 주기적 데이터 흐름 및 메모리 계산을 지원합니다. 자바, 스칼라 또는 파이썬 프로그래밍 언어를 사용할 수 있습니다. 그것은 분산된 응용 프로그램을 신속 하 게 개발을 포함 하는 80 개 이상의 함수를 사용할 수 있습니다. 스칼라와 파이썬에 대 한 셸 인터페이스를 제공합니다.

또한, 구조화 되지 않은 데이터 보안 및 안정성 위험이 있다. 특히 문제가 이다 HA 섹션에서 그것은 기업 사용자가 하 그들은 개발, 발전, 및 전체 Hadoop 제품 시스템의 기술 아키텍처에 익숙하지 않은 경우 배포 하는. 보안 섹션, 데이터 인식 하지만 또한 매우 복잡 한, 매우 쉽게 일부 설정에서 실수를 할 단계 시간을 실현 하는 방법. Ufida UAP Udh 통해 이러한 것 들 모두 만든된 자동화, 사용자 기본적으로 어떤 문제를 느끼지 않을 것 이다.