큰 숨겨진 데이터 위대한 지혜

"요약" 오늘은 빅 데이터 지식 발견과 데이터 마이닝에 대 한 새로운 기술을 찾으려고 연구원 강요

구글과 야 후 같은 회사에서 최고 과학자 17 세션의 미국 컴퓨터 협회 (ACM) "지식 발견과 데이터 마이닝"에 참여를 샌 디에 고에 함께 온 학술 토론 (KDD) 회의. 그들은 데이터의 오늘날의 홍수에서 정보에 대 한 통찰력을 얻을 하 고 이러한 더 광범위 하 게 다양 한 정보 소스를 그 어느 때 보다 의미를 이해 하는 최신 기술을 보여줍니다.

20 년 전, "빅 데이터"에 대해 신경쓰지 유일한 사람 우 Fayyad, Ossama Fiad, 야 후의 전 최고 데이터 책임자 및 지식 발견과 데이터 마이닝에 ACM 특별 한 관심 그룹의 전무 이사 말했다 (그 거 대 한 숫자와 그들과 함께 처리 하려고 하는 사람들)은 사회 과학. 그럼에도 불구 하 고, 데이터 마이닝의 결과 인상적입니다. "우리는 30 년 이상이 분야에서 존재 하는 주요 과학 문제 해결할 수 있습니다," Fiad 말했다.

그러나, 인터넷의 폭발적인 성장은 모든 변경 되었습니다. 그들은 좋든 싫든, 그들은 온라인 실행 하 고 고객 및 그들의 행동에 대 한 데이터가 많이 축적 회사 찾아낼. Fiad는 데이터 마이닝 능력은 명확 하 게 되 고 투자 분야에 대 한 경제적 인센티브도 성장 했다.

넷 플 릭 스, 예를 들어, 1 백만 달러 보상 팀 누가 그들의 사용자에 대 한 그들의 정보를 활용할 수 있는 그들의 기존 시스템 보다 더 정확한 권장 빌드를 제공 하고있다. 데이터 마이닝 응용 프로그램의 이러한 높은-프로필 예는 단순히 피상적입니다.

"기업 점점 관심이 있다 그들은 비즈니스 프로세스를 통해 얻고 있다 역할" Chid Apte, 분석 및 연구, Zide Epte의 대통령에 대 한 IBM 센터의 머리를 말했다. 그는 점 밖으로, 특히 의료, 소셜 미디어에 아무것도 온라인에서 일어나는.

오늘, 인터넷 거 인 그들이 수집 하는 정보 및 그들은 그것을 밖으로 파고 정보에서 돈을 만들고 있다. 소매 상인 더 나은 그들의 상점을 실행 하는 그들을 돕기 위해 행동의 복잡 한 모델을 얻을 수 있습니다. 산업 연구원은 혼잡, 날씨 및 년의 특정 시간을 기반으로 자동차 교통 모델을 예측 하 고 최적의 경로 제공 수 있습니다.

그러나, 현재 데이터 우리가 잘 알고 있는 데이터베이스의 형태로 아니다. "정보는 제시 하지 당신에 게 명확한 형태로," Epte 말했다. "그것은 되 고 제시는 웹의 형태로 당신에 게. "보통의 형태로 차트," 그 설명-소셜 미디어 사용 등. 이러한 차트 종종 레코드 노드 뿐만 아니라 다른 새로운 유형의 정보, 동영상, 등 간의 복잡 한 연결 이미지 하 고 의견을 그 사람 뿐만 아니라 소셜 네트워크에 제출 합니다.

소셜 네트워킹 수 있습니다 연 같은 차트 분석에 대 한 추세 Epte 말했다, 하지만 네트워크 데이터의 다른 근원이 있다-예를 들어 전원 네트워크 같은 복잡 한 엔지니어링 시스템에서 물 분배 시스템 및 교통 관리 시스템. 이러한 시스템에서 분산된 센서 네트워크는 소셜 네트워크에 개인 간의 우정으로 중요 한 데이터 집합에서 연결을 생성 합니다. 이러한 관계를 이해 하는 것은 시스템을 최적화 하 고 지속 가능한 열쇠 이다.

사람들을 다루고 있다 그래프 차트 수백 년, 하지만 지금 보다 더 많은 소셜 네트워크 기반 또는 센서 네트워크는 전례 없는 규모, Epte는 말했다. "이들은 거 대 한 차트," 고 말했다. "노드 및 연결의 수백만의 수천에 대해 얘기 있어.

그 크기 및 범위, 차트 처리 하 고 그들에 게 현대 분석 도구를 적용할 알고리즘 및 다른 아이디어를 더 필요. 회의의 목표 중 하나 Epte 말했다, 학문과 산업 연구소, 첨단 기술 기업 수에 넣어 사용 보다 신속 하 게 통지 하는 회사입니다. 같은 시간에 회의의 주최자 학계가 가장 긴급 한 비즈니스 과제의 알고 있을 것입니다 바랍니다.

Fiad는 데이터에 강력한 비즈니스 관심 분야 데이터 마이닝의 변경 된 것을 말한다. 그는 과학자 들은 주로, 구조적 형태에 저장 된 데이터를 다루는 것을 말한다. 하지만 대부분의 기업 생산 데이터를 혼란.

"과학자 피하는 그것의 좋은 일을 하 고, 회사는 되 고 강제로 얼굴을 그것을," Fiad 말했다. "그것은 드라이브 전에 시도 적이 없는 기술 개발 회사. "

물론, Fiad도 전에 남아 있다 그러나 "사람들이 앞으로 더 많은 예측 모델 넣을 수 및, 더 중요 한 것은, 그들을 평가 (그들의 작업 상태 확인)... 이것은 정말 인간 두뇌의 이해를 초월 하는 수준으로 데이터 분석. "

미국 기술 검토 승인 기사의 서 면된 허가 없이이 문서의 금지 사용 무단 전재.

(책임 편집자: 류 펜)