PRECOG: 대용량 데이터 분석 서비스

최근, PRECOG 그들의 큰 데이터 웨어하우스를 발표 하 고 분석 서비스, 데이터 캡처 처리, 분석 및 시각화 프로세스 및 서비스의 기반이 되는 인프라를 변환. 그러나,이 서비스는 또한 사용 개발자와 데이터 과학자는 전체 프로세스를 제어 하는 RESTful API를 통해 다양 한 오픈 액세스 포인트를 보유 합니다.

PRECOG는 다양 한 데이터 원본, SQL 데이터베이스, 아마존 S3, Hadoop, MongoDB, 클라이언트 웹 응용 프로그램 및 백 엔드 서버를 포함 하 여 입력된 데이터를 크롤링할 수 있습니다. RESTful API는 지 저 귐 또는 페이 스 북, CSV 파일 같은 외부 소스에서 크롤링 데이터를 개발자가 수 있습니다 또는 모바일 장치. 크롤링된 데이터 Precogdb, 라는 사용자 지정 데이터베이스에 저장 됩니다 그리고 우리는 데이터를 풍부 하 게 인구 통계, 태도, 위치, 및 다른 정보를 사용할 수 있습니다.

데이터 다음 분석할 수 있습니다 다양 한 방법으로와 같은 API를 통해 클라이언트 라이브러리 (자바 스크립트, php)을 사용 하 여 또는 Labcoat, Quirrel, 선언적 쿼리 언어를 사용 하 여 데이터 분석을 지 원하는 IDE를 사용 하 여. 개발자는 심지어 시장에 판매 될 수 있다 그들의 자신의 데이터 캡처, 강화, 및 분석 모듈을 만들 수 있습니다.

PRECOG는 시스템 복구 및 가동 시간 증가 아마존 e c 2와 softlayer-같은 다른 클라우드 공급 업체 위에 전체 프로세스를 실행할 수 있습니다.

Infoq와 인터뷰에서 Precog의 CEO 및 창시자 존 A. 드가 설명:

"(시스템) 아키텍처는 데이터베이스 분석에 다소 비슷합니다, 예를 들어 모든 열 기반 스토리지를 포함 하지만 차이점은 전 완전히 이질적인, 비표준 데이터를 지원 하 고 Quirrel의 지원, 이것은 분석을 위해 RDBMS를 사용 하 여에 비해 대용량 데이터에 대 한" R "언어 쉽게 많은 고급 계산을 수행할 수 있습니다. "

Precogdb, 플랫폼의 코어는 스칼라는 JVM에서 실행 하 고 데이터 캡처 및 분석을 최적화 하는 열 기반 데이터베이스 이다. 에 따르면 데 되 면, precogdb "클릭, 구매, 치수, 트위터 데이터, 로그 정보 등 측정된 데이터 수집 다른 다양 한 활동에서" 저장할 수 있습니다. 그는 덧붙였다, "PRECOG 아니다 아직 구조화 되지 않은 데이터의 큰 덩어리를 저장할 수 있지만이 수요는 생물 정보학 및 응용 프로그램의 다른 영역에서." 그러나,이 함수는 이미 우리의로에. "

Quirrel-, PRECOG에 의해 구현 된 통계 쿼리 언어에 관해서는 드가 말했다: "Quirrel 많은 측면은 R 프로그래밍 언어와 비슷합니다." R, 같은 Quirrel는 또한 고급 분석 및 통계에 대 한 설계 되었습니다. 하지만 R, 달리 Quirrel 완전히 튜링 언어, 그것은 순전히 선언적 이며 그것은 쉽게 기계 (quirrel R 보다 쉽게 배울 수 있도록)를 큰 클러스터에서 Quirrel 쿼리를 효율적으로 배포 하. "

PRECOGDB는 "내장 루틴 일반적인 분석 및 통계 계산을 위해" 제공 "세분화, 역량 기반 보안 모델 Restapi를 통해 직접 그들의 기능에 액세스 하려면 모바일 장치 또는 웹에서 응용 프로그램을 가능 하 게."

번역기 슈 타오 보기 영어 원본: Precog: 빅 데이터 분석 서비스

(책임 편집기: 유산의 좋은)