큰 데이터 이동 시 데이터와 CEP가 손을

오늘날의 중요 한 분석의 중심에 진행 데이터와 구조화 되지 않은 데이터, 웹 응용 프로그램, 서버 로그, 및 소셜 미디어 사이트에서 대부분의 컬렉션으로 볼 수 있는 큰 데이터입니다. 큰 데이터 응용 프로그램은 자주 관련 된 동안 신속 하 게 먹을 수 있는 빠르게 성장 조직 다시 실시간 데이터, 대용량 데이터 실시간으로 반드시 동의어 이다.

업계 전문가 들은 나머지 큰 데이터와 모션에 큰 데이터 다지 않습니다 지적. 외부 도움말은 앞으로 밀어 해야 합니다.

MapReduce와 Hadoop는 현대, 분산 및 병렬, 모두 이러한 오픈 소스 기술의 큰 밀접 하 게 연결 된 데이터 이며 배치 지향. 이 어떤 사람들을 놀라게 수 있습니다 하지만 그들은 종종 큰 데이터, 즉, 휴식 때 상당히 고급 미들웨어 동반 하지 않는 한. 내장 데이터 격자 또는 데이터베이스, 복잡 한 이벤트 처리 (CEP) 엔진, 및 낮은 지연 메시징 미들웨어 건축가 같은 큰 데이터 캠페인 운전의 도전 하는 응용 프로그램 인프라 소프트웨어의 여러 종류가 있습니다.

빠른 데이터 기술에 그냥 하지만 아니다는 일련의 메서드, 토니 배어, 영국에서 난 자 연구 그룹의 애 널 리스트에 따르면. 높은 성능, 낮은 지연 CEP 응용 프로그램을 포함 하는 빠른 데이터 그리고 데이터 스트림 처리 메모리 모호 하 고 복잡 한 패턴을 감지 하 배어 올해 초 블로그 게시물에 썼다.

사용자가 큰 데이터에 더 익숙한으로로 Schulte, 가트너 애 널 리스트에 따르면이 대형 수영장 정보 함께 고급 메시징 미들웨어 종류에 대 한 필요성 성장할 것입니다. 가트너는 일시적으로 컴퓨터의 메인 메모리에 정보를 저장 하 여 곧 데이터를 신속 하 게 처리할 수 있기 때문에 CEP 대용량 데이터에 대 한 중요 하다는 의견입니다.

시스템의 확장성을 측정

큰 데이터는 일반적인 컴퓨터 I/O 문제를 많은 수의 "입력"와 "출력" 문제 있는 성능에 주요 병목 현상을 나타냅니다. 일반적으로, 하드웨어를 삭제 하 고 반드시 더 나은 효과 하 여이 문제를 처리 하는 경향이 있다. Hadoop 프레임 워크는 예입니다.

"사람들, 확장성에 대해 이야기 하지만 그들은 Hadoop 성능에 대해 얘기 하지 마세요" 마이클 Kopp, 디트로이트 Compuware의 성능 관리 팀에서 기술 전략을 말했다. "나에 대해 가장 기억 하는 또 다른 것은 사람들의 가정 때문에 큰 데이터를 빠르고, 그래서 큰 데이터." Hadoop에 보면, 당신은 일괄 지향 과정으로 볼. 그것은 빨리, 하지만 그것은 결코 진짜. "

그냥 있기 때문에 오픈 소스 회사 돈을 절약 아닙니다.

"사람들은 매우 엃 혀 있었습니다. Hadoop은 정말 저렴 하 고, 관리 하기 어려운 고 서로 다른 속도로 실행 하는 많은 작업. 멀리 던져 더 많은 하드웨어, 관리 하는 것이 더 어려운 "그는 말했다, 어떤 nosql 및 빅 데이터 시장에서 다른 시스템 CEP 처럼 보일 수 있습니다 암시-그들은 속도에 무거운 거 야.

"CEP 시스템 토론에 걸쳐 중요 한 역할을 재생 됩니다," 고 말했다. 그가 보고는 하 둡과 NoSQL 개발 팀 쿼리 성능을 개선 하 고 데이터베이스를 최적화 하기 위해 노력 하 고, 하는 동안 그는 그들이 거의 응용 프로그램은 실제로 데이터를 사용 하는 방법에 맞게 효율적으로 최적화 된 믿고 있다.

고성능 메시징에 대 한 액세스

낮은 지연 메시징 속도 큰 데이터를 다른 미들웨어 접근으로 떠오르고 있다. 월스트리트 금융 응용 프로그램 기본 유스 케이스 동안, 높은-성능 메시징는 광범위 한 사용에 대 한 배치 됩니다. Ibm, 인포, prismtech, rti, 등 같은 작품을 제공 하는 제조 업체 레드햇, 소프트웨어 Ag, 위안 시스템, tervela, 핸디 등.

큰 데이터 응용 프로그램, 센서 또는 소위 IoT를 사용 하 여 낮은 대기 시간 미들웨어 월스트리트 응용 프로그램 외부 필요로 하는 사용 사례를 나타냅니다. 이러한 소프트웨어는 안젤로 Corsaro, Prismtech의 최고 기술 책임자에 따르면 항공, 국방, 전력 회사, 그리고 심지어 주차 시스템, 응용 프로그램을 분석 하 사용 되었다. Corsaro 모니터링 Opensplice DDS의 작품, Opensplice DDS 개체 관리 그룹의 데이터 배포 서비스 (DDS) 실시간 시스템을 지원 합니다.

"응용 프로그램 배포 하 고, 빠르게 변하는 데이터 캐시 Opensplice를 사용," 말했다 Searchsoa.com 전자 메일. "일부 기술 사이의 라인 흐리게 되 고. "

"는 의미에서 Opensplice 기능을 제공 합니다 몇 가지 CEP," 그는 말했다, 지적의 내용 기반 구독, CEP 도메인에서 지속적으로 쿼리할 수 있습니다.

"중복에 관계 없이, 기술 계속 전문화 하 여 통합," 고 덧붙였다.

물론 큰 데이터 및 그들의 사용 사이 구별할 수 있는 CEP 요소가 있습니다. CEP 작은 데이터 집합을 사용 하는 경향이 있다 Merv 애드 리안, 가트너 애 널 리스트는 말했다. 아직도, 그는 그들의 방법에 다양 한 기술을 고 우리가 큰 데이터 속도 지금 아는 것 그것.

"지금까지 큰 데이터는 아직 되지 실시간 쇼핑몰. 새로운 접근, 등장 하지만 그들이 말하는 대로 어떤 조합 필요 "애드 리안 고 말했다. "돌이켜보면, 불구 Hadoop은 이제 도구. 다시 봐, 그것은 당신의 비즈니스 인텔리전스. "

실시간 능력 사람들이 큰 데이터에서 무엇을 기대할 이다, 아드리안 말한다. "그것은 실현 될 빨리." 하지만 몇 가지 압력을 확인 하 고는, "고 말했다.

큰 데이터 작업 이미 나타냅니다 현재 시나리오를 비교 하는 경우 프로젝트의 결과에 크게 의존 하는 완전히 새로운 아키텍처. 사람들이 문제에 대 한 요구 하지 않습니다 그들은 지난 1 년 동안 무슨 짓을 했는지 보고 새로운 아키텍처를 추가 애드 리안은 말했다.

(책임 편집기: Schpeppen)