큰 데이터의 한계: 알고리즘 완전히 인간의 판단을 대체할 수 없습니다

수학적 모델

만약 당신이 농담을 들었어요, 나 인터럽트: 3 통계학자 사냥 토끼가 있다. 그들은 토끼를 발견. 첫 번째 통계 총 토끼의 머리에서 발. 두 번째 통계 총 토끼의 꼬리에서 발. 세 번째 통계 소리 쳤 다, "우리는 그에 게 있어!" "

농담은 재 밌 생각 하지 않습니다, 경우에 당신은 아마 설명 같은 매니저와 다하고 있습니다. 그들의 수학 수준 소견, 수 있습니다 하지만 슬프게도, 현실 세계에서 그들의 결과 쓸모 없는. 거짓말, 빌어 먹을 거짓말입니다. 어떤 큰 조직 하는 데 필요한 그들의 양적 분석 통계 환상 보다는 진정한 가치를 생산할 예정 이다 기회를 증가 하기 위하여 마스터? 어떻게 수학 이해가 임원 그들은 하지의 눈을 멀게 큰 데이터 있는지 확인?

우리는 사무엘 Abesman의 책 사실 (사실의 반감기)의 반감기와 네이트 힐 차관보의 책, 신호 및 잡음 (신호 및 잡음)에 이러한 질문에 대 한 최고의 답변을 찾을 수 있습니다. 이 두 서로 독립적이 고 상호 보완적인 작품을 어떻게 "데이터" 된다 "증거", 탐구 하 고 너무 많은 겉보기 헤아릴 수 없는 수학적 모델이 두 종류의 것 들을 구분할 수 없습니다. 이 두 권의 책 허용 Naseem Taleb의 인기와 통찰력이 책 "눈을 멀게 하 여 무작위 현상" (임의성 속지)를 더욱 확대 하 고 "생각 하 고, 빠르고 느린 작동 하는" 블랙 스완 "(검은 백조), 그리고 노벨상 수 상자 인 다니엘 Kahneman의 화려한 (빨리 생각 하 고 천천히) 불확실성과 자 기기만의 수의 주제를 설명 합니다. 그것의 개척자 처럼 Abesman와 힐도 재미 있고 작동 했다 작품 썼다.

두 저자 마크 트웨인, 윌 로저스와 찰스 케이 틀린의 아이러니 경구를 인용: "그것은 하지 뭘 우리가 모르는 처지, 하지만 우리가 무엇을 알고 있지만 하지 진짜 우리 리드." 둘 다 미디어와 "진짜" 및 "보다 적게 정통" 지식을 구별 하는 데 사용 하는 메커니즘을 탐험 했습니다. Abesman 및 Hildu 현재 지배 "진짜" 덜 지식 임을 주장 한다. 더 많은 데이터를 처리, 더 많은 관심을 지불.

적용 된 수학 연구원, 하버드 대학의 양적 사회 과학의 학회 (하버드의 양적 사회 연구소) Abesman "사실"의 정의 재조. 리더의 자비에 그가 하지 postmodernism 철학의 진흙으로 떨어졌다. 대신, 그는 다 징 턴의 심각한 과학자에 그들은 그들이 알고 있고 그들은 공부 하는 것에 관련 된 생각 하는 것을 결정. 이 "과학적 측정"-과학 그것의 프로세스 및 진행을 측정 하는 방법의 과학-"사실" 주기 및 생태계 과학자가 부르는 결정에 매우 유용. 이 방법에서는, Abesman와 같은 몇 가지 흥미로운 질문 제기: "사실"는 어떻게 태 어 났어요? 어떻게 그들은 일반적으로 복제, 변형 하 고 진화? 그들은 얼마나 멀리 사라질 것 이다?

병 적인 결함

Abesman의 도발적인 코어 보기는 가상 물리적 현상 사실의 구성입니다. "사실"에 따라 설립된 법률 및 궤도, 그들은 어떻게 정의 되 고 측정에 따라 합니다. "우리가 매일 뉴스를 읽고, 우리는 우리가 우리가 알고 있다고 하는 생각에서 완전히 다른 세계에 대 한 사실에 직면 할 수 있습니다," 그 썼다. "하지만 그 이러한 비록 우리가 보기에 그들은 진짜 단계 변경, 변경, 그러나 변화 하지 예기치 않은, 않으며 임의의 밝혀." 확률을 적용 하 여 우리는 그들의 전반적인 동작을 이해할 수 있다 하지만 우리는 또한 느린, 더 일반적인 변화 우리가 그들을 인식 하는 방법에 대 한 검색 하 여 이러한 변화를 예측할 수 있습니다. 사실, 다른 모든 것 들 처럼 급속 한 변화는 그것의 자신의 규칙, 측정 및 예측 가능한 있다 우리가 보고. "

무슨 "측정" 및 "예측 가능한" 의미를 합니까? Abesman 기관, 개인, 설명 하는 것을 매우 잘한다 고 확률 편견 방법은 과학 및 과학자 들은 왜곡 평가, 게시, 제거 "사실."

"이 가장 확실 한 예 부정적인 결과의 분야에서" Abesman 썼다. 그는 어떤 진화 생물학자 존 메이너드 스미스는 한 번 말했다 인용 한다: "통계 20 회 실험 및 자연 속에서 잘못 된 결과 게시할 수 있는 과학 이다." 그러나, 20 독립적인 과학자 같은 실험을 수행 하는 경우 그들의 19, 실패 하 고 그들의 경력 자연스럽 게 가지 않을 것 이다 더. 이 상황은 비참 한, 물론 하지만 그건 과학이 작동 하는 방법. 아이디어와 실험의 대부분 실패 했다입니다. 하지만 가장 중요 한 것은, 실패의 결과 거의 발표 했다. "

문제의 핵심은 그 통계 과학 또는 과학적 통계는 병 적인 결함, 하지만 그이 알려진된 병 적인 결함 재검토, 수정 하 고 재설계 우리가 측정 하 고 테스트 것 들 우리에 대 한 동기 부여를 만들 수 있습니다. "사실" "사실"의 우리의 이해와 생각을 업데이트 하는 데 도움이 필요 합니다. 과학-하며 점점 디지털 기술 드라이브를 지 원하는 it-강력한 모델 기업 어려움을 그들의 성장 하 고 있는 대량의 데이터를 이해 하 고 데이터 값을 추가할 수 없습니다.

이와 관련, 사실 반감기 인식론, 즉 지식 및 학문, 직업, 또는 문화 인식의 본질을 이해 하는 과정의 역학에 대 한 입문서 이다. Abesman의 작품을 그들의 조직에서 흥미로운 데이터 유용한 사실으로 변환 하는 방법에 대 한 질문을 다시 세계 정책 촉구 됩니다.

통계 데이터 중심

통계학자, 뉴욕 타임즈 웹 사이트 FiveThirtyEight 블로거 네이트 힐, 지식, 사실 및 예측 가능성을 탐험 하는 완전히 다른, 하지만 Abesman 호환 접근 방식을 사용 합니다. 상세한 삽화 및 에피소드의 과다를 통해 힐 차관보의 책 냉정 한 집합이 예측의 오만 대 한 경고를 보냅니다. "이이 책은 우리가 무엇을 알고와 우리 사이의 차이 대 한 생각 우리가 알고 있는, 우리가 무엇을 알고, 보다는 오히려" 힐 썼다. "

날씨, 지진, 지구 온난화, 축구 서브 프라임 모기지 세계 금융 위기, 힐 왜 모델러 및 예보 문제가 설명 "당신은 그것에 내기 수 있는" 예측의 내일에 데이터를 변환. 이러한 미세한 사례 연구는 확실히 표면, 하지만 그들은 할 하지 수학 기피 고 가장 중요 한 가설의 대부분에 대 한 일관 되 고 공정한 태도. 책 더 나은 편집기 이면 그 수량을 희생 더 많은 통찰력을 작성 언덕을 촉구 수 있습니다 하지만 이러한 사례의 폭 명백 하 게 밝혀 "예측 병 리".

Abesman의 분석 단위는 사실, 그리고 힐 "예측 효과"에 초점을 맞추고 있다. 언덕은 좋은 매너와 자기 인식, 그리고 그 인간의 약점 디자인 제약 조건 인정. "내가 생각 하는 우리의 믿음은 결코 완벽 한 객관성, 합리 성과 정확성을 달성," 언덕을 썼습니다. 대신, 우리는 덜 주관, 부조리, 덜 하 고 실수를 덜 위해 노력 수 있습니다. 우리의 신념에 따라 예측 하는 것은 최고의 (그리고 아마도 유일한) 자기 테스트를 수행 하는 방법. 객관성은 관련이 있다면 우리 자신의 상태 보다 더 큰 진리를, 예측은 얼마나 밀접 하 게 우리의 개인적인 견해와 그 큰 진실 사이의 연결이, 검사 하는 가장 좋은 방법은 고 자주 가장 객관적으로 가장 정확한 예측을 만드는 사람들. "

그러나 내가 알고 싶은 것,, 힐 완벽 하 게 알고 그 충격 독자 마음에 있는 그들의 이야기 들에 베어링을 있을 수 있는 오류와 경고 이야기를 혼합 했다 누적 효과 인지. 그는 손상 되 고 편 파 방법을 사용 하 여 결함 및 편견 모델을 구축 결함과 편향 모델의 예를 하나 더 제공 합니다. 그는 반복적으로 "지나치게 장착" 통계 모델을 정교 있다. 데이터에 적응 시키기 위하여 통계학자는, 차례로, 이러한 모델의 정확도 크게 감소 하는 경향이 하 고 따라서 신뢰할 수 있는 예측을 위해 그들을 사용 하 여 실패 힐 설명 했다 그들의 모델을 디버깅 분투.

힐 차관보의 이야기는 현재 모델의 공정한 샘플을 제공합니다. 이와 관련, 책을 새로운 세계의 미래 많은 통계 데이터 기반 성공 사례, 행복도 용기 가득 될 것입니다 예측 합니다. 이 세계에서 세계 수준에서 평균 성능 거리는 몇 가지 표준 편차에서 달라질 수 있습니다.

힐은 필립스-Telloc의 고전 연구를의 전문가 의견을 인용 한다. 연구 훨씬 더 방해 전문 분야에서 "전문가"는 가능한 결과 예측 행동 종종 제대로 보여줍니다. 또한, 전문가 들은 지나치게 그들의 예측의 품질에 대 한 자신감 경향이 있고 즉, 전문가 의견은 종종 두 세계의 최악의 도착: 잘못 된 답변을 제공 하는 오만한 태도. 이건 성공의 비밀.

IBM의 슈퍼 컴퓨터 왓슨, 아마존의 추천 엔진, 구글의 검색 알고리즘에서에서 데이터 기반 컴퓨팅 시스템 얻을 수 있다 의심할 여 지 없이 특별 한 성공, 그들은 실제 보다는 추상적인 이론 테스트에 집중 하는 경우에 특히. "정말 '알고', 구글과 같은 큰 데이터를 기업 모델을 구축 하는 시간을 많이 지출 하지" 힐 씁니다. "이이 회사 수십만 년 실험을 실시 하 고 실제 고객에 대 한 그들의 아이디어를 테스트." "

그러나,이 두 권의 책을 읽고 나면 우리는 아이러니 한 결론 그릴 수: 더 많은 데이터와 사람 얻는다는 사실, 더 의미 있는 예측 이며, 더 중요 한 판단 된다. 인간, 데이터 집합 및 알고리즘의 공 진화 궁극적으로 "빅 데이터" 새로운 부를 창조 합니다 또는 이전 값을 파괴 여부를 결정 합니다.

(책임 편집기: 유산의 좋은)