빅 데이터 시대는 문 두드리는 소리 온다

로 새로 졸업 예일 MBA (MBA), 나에 의해 고용 되었다 IBM 지난 여름 회사에 참여 하 Zhou의 급속 하 게 데이터 관리자 팀을 성장 하고있다. IBM 데이터 관리자의 일은 공급 업체와 고객에 대 한 데이터 폭발-네트워크 트래픽 및 소셜 네트워크 리뷰, 그리고 모니터링 출하, 소프트웨어 및 센서 뒤에 의미를 이해 하는 회사-의사 결정, 비용, 절감 및 매출 증가. "난 항상 숫자를 사랑 했습니다. 저 우 나 말했다 그녀는 데이터 분석 기술에 맞춰 그녀 배운 했다.

데이터의 격 류를 개발, 미국 그녀 처럼 많은 사람들이 필요 합니다. 맥킨 지 글로벌, 맥킨 지의 연구 부서에서 컨설팅 하 여 지난해 발표 한 보고서에 따르면 미국 "깊은 분석" 전문 기술, 140000 190000 노동자 및 1.5 백만 더 많은 데이터에 정통한 관리자, 연구소 필요 합니다. 여부 그것은 은퇴한 사람 또는 고용된 된 사람입니다.

기업의 세계 보다 훨씬 데이터 홍수의 영향이 이다. 저스틴 Grimmer, 예를 들면, 정치학자, 세 28 및 스탠포드 대학, 그 뤼 모 조교의 새로운 세대입니다. 대학 및 대학원 연구, 그 링크 수학 정치 과학, 그는 보고 말하는 "기회 분야 데이터를 점점 더 많이 사용 되 고 있기 때문에". 그의 연구는 블로그 게시물, 의회 연설 및 보도 자료, 어떻게 정치적인 아이디어 확산에 대 한 기대의 컴퓨터 자동 분석을 포함 한다.

과학 및 공중 보건, 스포츠, 광고 같은 다른 많은 지역에서는 데이터 기반 검색 및 의사 결정으로 비슷한 상황을 변화입니다. "이것은 혁명, 우리는 정말 하 고," 게리 킹, 학장의 학교의 양적 사회과학 하버드 대학 (양적 사회 연구소)에서 말했다. 거 대 한 새 데이터 소스에 대 한 가져온 양적 변화는 학계, 사업 및 정치에서 빠르게 확산 됩니다. 아니 지역 영향을 받을 것입니다. "

"빅 데이터 시대" ("그레이트"의 나이) 오신 것을 환영 합니다. 실리콘 밸리의 벼-구글 (Weibo)-처음에 이제 페이스 북-실력의 관계와 인터넷 광고 등 웹 검색, 게시물, 정보. 지난 달 스위스 다보스에서에서 열린 세계 경제 포럼에서 큰 데이터는 토론의 주제 중 하나 였다. 큰 데이터, 큰 영향을 받을 수 포럼에 게시 된 보고서, 데이터의 돈 또는 금 같은 경제 자산, 새로운 카테고리 되고있다 말합니다.

"내 인생의 일 중 하나" (Smolan), 릭 Smolan, 사진, 시리즈의 창조 자는 나중에 이것이 올해, "큰 데이터와 인간의 얼굴" 새로운 프로젝트를 시작 계획 이다 ("그레이트"는 인간의 얼굴) 프로젝트는 컬렉션 및 데이터의 사용을 기록 합니다. Smolan, 마니아, "빅 데이터" "인간의 대시보드" 될 가능성이 있다는 믿고-빈곤, 범죄 및 오염 싸움 하는 사람들을 도울 수 있는 지능형 도구. 그러나 민간 옹호 "빅 데이터"와 "독재자" (큰 형) expatiating, 단지 기업 망 토에 넣어 경고 비관적인 전망이 만요.

"빅 데이터" 이란 무엇입니까?, 물론, 문화 유전자와 마케팅 아이디어의 용어 이지만 그것은 또한 과학 및 기술, 세계를 이해 하 고 의사 결정의 새로운 방법으로 문을 열고의 분야에서 발전 추세를 반영 한다. IDC에 따르면, 기술 연구 회사, 데이터 증가 되었습니다 년, 50%의 비율로 즉, 모든 한 2 년. 이건 데이터, 하지만 새로운 문제에 간단한 증가의 질문입니다. 예를 들어 오늘날의 글로벌 산업 장비, 자동차, 전자 기기 및 운송 상자에 수많은 디지털 센서, 측정 및 위치, 움직임, 진동, 온도 및 습도 데이터 통신 하며 심지어 공기에 화학 변화를 측정 하는 있다.

전산 정보에 이러한 AC 센서를 연결 하 고 소위 "IoT" (인터넷 것 들의) 또는 "산업 인터넷" (산업 인터넷) 나타납니다. 정보에 대 한 액세스의 문제에 진전이 또한 "빅 데이터" 추세의 개발에 대 한 이유 중 하나입니다. 예를 들어 정부 데이터 고용 데이터와 기타 정보-이 꾸준히 네트워크에 이동 되었습니다. 2009 년에 미국 정부는 대 중에 게 제공 하는 다양 한 정부 데이터 Data.gov 웹 사이트를 실행 하 여 데이터에 문을 열었습니다.

데이터 하지 그냥 되 고 더 유용 하지만 컴퓨터에서 보다 쉽게 이해 되는. "빅 데이터" 추세에 추가 하는 데이터의 많은 온라인 음성, 사진 및 비디오, 및 센서에서 데이터 같은 것 들을 통제 등 자연 환경에서 생성 됩니다. 이들은 소위 "비정형된 데이터" 전통적인 데이터베이스에 자주 사용 되는.

하지만 컴퓨터 도구 지식 습득 목적 그리고 인터넷 시대에 구조화 되지 않은 데이터의 광대 한 "보물"에서 급속 하 게 발전 하 고 있습니다. 이 도구의 선두 개발 인공 지능 (AI) 기술, 자연 언어 처리, 패턴 인식, 기계 학습 등의 급속 한 진행입니다.

이러한 인공 지능 기술은 다양 한 분야에 적용할 수 있습니다. 예를 들어 Google의 검색 및 광고 사업 및 실험 로봇 (19.360,0.69,3.70%) 자동차 많은 인공 지능 기술 이용 했다. 캘리포니아 국가로에 Google의 로봇 자동차 마일의 수천을 실행 했다. Google의 기업 둘 다 범인 "빅 데이터" 시대는 많은 수의 데이터를 분석 하 고 즉각적인 의사 결정의 도전.

차례 차례로, 새로운 데이터의 상당한 컴퓨팅, "" 빅 데이터 시대에 덕 원에 진행 가속. 예를 들어 기계 학습 알고리즘 학습 데이터를 기반으로 수 있습니다, 더 많은 데이터 머신을 배울 수 있는 더. 애플의 Iphohne 휴대 전화 발사 되었다 Siri, 지난가의 예에서는 응용 프로그램 다음 분리 했 고 실리콘 밸리 스타트업 회사를 되었다 국방부에서 연구 프로젝트에 다시 추적 될 수 있습니다. 애플은 2010 년에서 Siri를 취득 하 고 더 많은 데이터를 제공 하 고. 오늘, 제공 하는 질문의 수천의 수백, Siri 점점 숙련 된 개인 비서, 알림, 일기 예보, 케이터링 조언, 및 질문의 숫자에 대 한 답변 서비스 제공 되고있다.

에릭 Brynjolfsson, MIT 슬로 안 스쿨 관리, 경제학 교수는 "빅 데이터"의 잠재적인 영향을 이해 하려면 보세요 현미경 예. Lunorfson 말한다 현미경 측정 하는 그들은 전에 본 적이 없었다 것 들을 보고 사람들이 있도록 4 세기 전에 만들어졌다-세포 수준에서. 현미경은 측정 분야에서 혁명 이다.

Lunorfson는 데이터 측정 현미경의 현대 버전을 해당 하는 설명 합니다. 예를 들어 Google 검색, 페이 스 북 게시물 하 고 지 저 귐 메시지는 사람들의 행동과 감정을 자세히 측정을 가능 하 게.

Lunorfson 더 지적, 비즈니스, 경제 및 다른 분야에서 의사 결정 됩니다 점점 기초 데이터 및 분석 보다는 경험과 직관에. "우리는 훨씬 더 과학적 되기 시작할 수 있습니다. 그는 말했다.

많은 일화 적인 증거 데이터 지향 생각 높은 수익을 가져올 것 이다 있다. 가장 주목할 만한 보기의 한 개는 여전히 "처벌 골드" (Moneyball), 2003 년에, 마이클 루이스에 의해 출판도 서 책 어떻게 낮은 예산 오클랜드 스포츠 팀 사용 분석 데이터와 너무 낮은 것으로 판단 되는 야구 선수를 찾을 모호한 야구 통계 기록 합니다. "처벌 골드" 브래드 피트 피트 주연 영화 작년 화면으로 이동 되었다, 하기 전에 깊은 데이터 분석 영국 풋볼 리그 등 다른 스포츠에서 뿐만 아니라 야구의 분야에서 표준 될만 했다.

소매 업체 월마트 (WMT)와 콜 또한 판매를 분석 하기 시작, 가격 및 경제, 인구 통계 및 날씨 데이터 선택 권리를 특정 체인 점포의 선반 판매의 타이밍을 결정 하는 이러한 분석에 따라. UPS 같은 운송 회사는 또한 그들의 전송 경로 조정 하는 트럭의 배달 시간과 트래픽 패턴 분석 하.

Match.com 자주 살펴봐야 개인 기능, 응답, 및 더 나은 남자와 데이트 하 고 싶은 여자에 대 한 연결을 제공 하는 그들의 알고리즘을 개선 하기 위해 그들의 웹사이트에 나열 된 exchange 정보에서와 같은 사이트를 데이트. 미국 전체에, 경찰 국, 뉴욕에 의해 또한 사용 하는 컴퓨터 지도 같은 역사적인 체포 패턴, 월급날, 스포츠, 강우량 및 휴일, 변수 분석 "핫스팟" 어디 가능성이 가장 높은 범죄는 발생, 그리고 그 지역에 경찰 병력의 배포를 시도.

Lunorfson와 그의 두 동료 출판 연구 지난해 말 데이터 감독 관리 활동 기업 세계에 걸쳐 확산 되 고 그 관리 활동은 갚 기 위해 시작. 3 학자 179 대기업을 공부 하 고는 회사는 "데이터 기반 의사 결정" 모델을 사용 하 여 길 렀 다 그들의 생산성 5%에서 6%로, 다른 요인으로 설명 하기 어려운 생산성 향상 발견.

공중 보건, 경제 개발 및 경제 예측 등의 분야에서 "빅 데이터"를 예측 하는 능력을 개발 및 신흥 되고있다. 연구원은 발견 "독감 증상" 및 "독감 치료"에 대 한 google에서 검색 쿼리 수 증가 몇 주 후 거기 참석 하는 주어진된 지역에 있는 병원 응급실 독감 환자의 숫자에서 증가 했다 (주목 해야 한다 그리고 그 병원의 응급실 일반적으로 보고서는 환자의 방문의 때에 2 주 이상 해제합니다.

유엔 (Weibo) "빅 데이터"를 사용 하 여 원하는 글로벌 펄스 라는 새로운 프로젝트를 발표 했다 글로벌 경제 성장을 촉진. 유엔은 소위 실시 한다 "감정 분석" 소셜 네트워킹 사이트와 실업, 지출 삭감 또는 지원 사업 사전에 안내 디지털 초기 경고 신호를 사용 하 여 목표와 특정된 지역에서 질병 발생을 예측할 수 있도록 문자 메시지에서 정보를 분석 하는 자연 언어 암호 해독 소프트웨어를 사용 하 여 방지 하기 위하여 지역을 다시 빈곤으로 떨어지지.

경제 예측의 분야에서 보여주는, 부동산 경제에 의해 예측 비교 연구 되었습니다, 증가 하거나 집안에 검색어의 양을 감소의 추세는 주택 시장 예측을 더 정확 하 게 다음 분기에 추세. 다른 기관과 연 준이 지적 했다. 지난 7 월은 국가 통계국 경제 연구소 (경제 통계국) 호스팅 "빅 데이터 시대에 기회"에 대 한 세미나 및 경제 분야에 미치는 영향.

"빅 데이터"는 또한 어떻게 소셜 네트워크 작업으로 연구를 바꾸었다. 1960 년대에 유명한 실험을 위한 연구 매체로 사용 하는 하버드 대학 소포의 스탠리 밀그램 소셜 네트워킹 관련. 그는 보스턴, 낯선 사람에 게 소포를가지고 하는 방법에 그들을 지시 하는 중서부 지역에서 자원 봉사자를 소포를 보낸 하지만 직접; 참가자 우편으로 패키지를 제공 하 고 싶 었, 경우 대상 것 알고 사람. 결과 소포에 손을 교환의 평균 수는 매우 낮은 약 6 번 나타났다. 이것은 소위의 고전적인 해석 "작은 세계 현상", "6도의 별거" (분리의 6도)에 대 한 인기 있는 단어를 형성.

오늘, 소셜 네트워킹 연구의 콘텐츠 네트워크에 집단 행동을 설명 하기 위해 디지털된 데이터의 대규모 컬렉션을 수집 하는 방법을 포함 한다. 이 연구의 결과 알지만 연락 자주 하지 않습니다-사람들이 제안 사회학 "약한 고리"로 알려진 (약한 관계)-작업 공석 험담의 최고의 소스는이 사람들이 가까운 친구 보다 약간 다른 사회 세계를 통해 걸어 때문에 그래서 당신과 당신의 가장 친한 친구를 볼 수 있는 기회를 볼 수 있습니다.

항목의 교환에서 연구원 또한 볼 수 있습니다 그들의 영향 패턴 및 봉우리-예를 들어 트위터에 추세 레이블이 추적 하 여. 다 수의 사용자, 트위터, 온라인 "유리 탱크" 현실의 행동으로 창입니다. 존 Kleinberg, 코넬 대학 교수는 말했다: "내가 무엇을 찾고 있어 데이터를 이해 해야 하는 활동에 ' 핫 스팟 ' 은" Klenberg. '빅 데이터'에 의해서만 할 수 있다 당신이 그것. "

"빅 데이터" 의심의 여지가 있다 자체 어떤 위험이 있다. 통계학자 및 컴퓨터 과학자 들은 지적 하는 "빅 데이터"의 조합 그리고 고밀도 측정 "거짓 발견"의 위험을 증가 시킬 것 이다. Hasti 트레버 Hastie, 스탠포드 대학에서 통계의 교수는 의미 있는 "바늘"는 광대 한 데이터 "건초 더미"에서 찾을 수 있다면, 문제 것 이라고 말했다 "많은 빨 대 바늘 처럼 보이는".

또한, "빅 데이터"는 또한 통계 사기 및 편견된 진상 조사 활동에 대 한 더 많은 원료를 제공합니다. -첨단 도구를 제공 하는 "빅 데이터"는 오래 된 속임수-내가 진실을 알고, 지금 하자 사실의 찾을. 이것은 "데이터를 사용 하는 가장 유해한 방법 중" Golding, 조지 메이슨 대학, 7.82,0.11,1.43%-Rebecca Goldin 수학자 말한다.

데이터 지배할 되었고 컴퓨터와 문학, 해석의 간단한 방법 은유적 수사학 같은 수학적 모델에 의해 이해. 이러한 패턴은 이해 데이터에 대 한 유용 하지만 그들은 또한 한계를가지고. 민간 단체는 웹 기반 검색 모델 제품, 은행 대출 및 연금 기금에서 제공 하는 의료보험의 효과 대 한 불공정 하거나 차별 통계적 추론을 만들 것 이라고 하는 상관 관계를 찾을 수 있습니다 경고 했다.

이 경고에도 불구 하 고 "빅 데이터" 시대의 도래 뒤집을 수 있는 것 처럼 보인다. 데이터에 유용 하 고 귀중 한 하 고 심지어 유행가 운전 석에 장착 되었습니다.

친구는 오랫동안 그들의 작품에 대해 이야기의 피곤 하지만 지금 그들은 갑자기 되 호기심, 수석 데이터 분석가 들은 말한다. "처벌 금"이이 변화에 대 한 이유 중 하나입니다 하지만 진짜 이유는 너무 간단 하 고, 멀리 분석가 들은 말한다. "문화 변경 되었습니다," 앤드류 겔만, 통계 및 정치 과학자에 컬럼비아 대학, 저먼 말했다. 아이디어는 지금 그 숫자 이며 통계는 재미와 멋진 일. "

(책임 편집기: 유산의 좋은)