실리콘밸리의 "정상"에 큰 데이터: 굴 삭 기 및 세계를 변경 하는 큰 데이터 회사

이러한 1 개월, 신생 데모 일에 나 고 다양 한 대기업 당일치기, 실리콘 밸리의 "빅 데이터"의 다양 한 종류와 굴 착 기의 줄기는 국내를 탈출 하지만 결코 생각 여기 더 많은 생각. 안녕하세요 ~이 글은 실리콘 밸리의 센터에서 두 번째 5, 당신과 함께 공유 하는이 땅에 큰 데이터의 실제 성장.

다음: http://www.china-cloud.com/yunjishu/shujuzhongxin/20141208_44108.html

세계를 변경 하는 큰 데이터 회사는 무엇입니까

지난 2 주, 실리콘 밸리의 두 큰 데모 회의에서 있다 10 이상 자칭된 큰 데이터 신생, 소비자 행동을 할 필요가, 스포츠 분석을 할 필요가, NGO 회계, 환경 보호를 해야 할 UX를 할 필요가, 물론 신용 평가 할 필요가 있다, 모바일 광고를 할 필요가 없습니다. 언뜻 보기에 그들은 키 큰 제품, 하지만 조심 생각 보다 큰 몇 가지 세부 사항을 발표할 예정 이다.

예를 들어 하나는 소개 했다 "한다 큰 데이터 팀, 미디어와 팬 들," Moneyball 입문서로 사용 하 여. 프레 젠 테이 션, 후 그들에 게 다양 한 데이터를 얻으려면 비디오를 분석 하는 방법을 물어, 데모의 친구 그들은 비디오를 보는 사람들을 초대 했다. 네, 그것은 인공입니다. 물론, 다음 질문은: 어떻게 할 당신이 확장 미래에 다양 한 스포츠 이벤트에서에서 전체 길이 동영상에 대처 하기 위해? 그의 대답은 더 많은 사람들을 고용 하는 것 충분히 간단 했다. 듣고 나면 나에 게, 난 어떻게 내가 수집한 데이터를 사용 하려고 궁금. 대답 Yue: 오픈 API, 자신 분석 하지 않습니다.

글쎄, 무엇에 대해 큰 데이터? 큰 데이터 회사 호출 되는 모든 데이터는? 경우만 두 구입 하 고 절반 이상이 세기에 대 한 판매, 그것은 큰 데이터 회사 호출 해야 합니까?

네, 하지만 둘 다.

추가 또는 수정 벽돌에는 처음 입력 하는 "빅 데이터 회사" 실리콘 밸리 정리:

데이터, 데이터 소스: 기능은 비즈니스 장점 많은 양의 데이터를 수집할 수 있습니다, 그냥 석탄으로 상사 독점 광산의 지역. 사실, 생성 하거나 데이터를 수집할 수 있는 대부분의 회사와 같은 유리한 스포츠와 찬이 게 PB 수준 데이터 수집이 종류에 속한다.

큰 데이터 컨설팅: 기능이 매우 기술, 소프트웨어 개발 및 데이터 분석, 인프라 계획 및 유지 보수 서비스를 제공 하지만 Cloudera, 500-사람 시작, 미만 등의 데이터는 가장 유명한 Hadoop 아키텍처 컨설팅 회사를 소유 하 고 있지 않습니다.

큰 데이터 도구: Amplab Databricks와 Hortonworks 야 후 지도 등.

응용 프로그램을 통합: 수집 또는 일부 데이터를 구매 후 더 실질적인 문제점을 해결 하기 위해 인공 지능을 결합 하는 기능입니다.

그래서 전에 질문에 대답: 예, 빵이 게 소비자 데이터 수집된의 크기는 데이터 소유자가 될 수 있다 데이터의 등 다 수 있다 통찰력;의 가능성 때문에

미래는 AI, AI 식품 이며 데이터 예, 믿습니다. 많은 산업 체인 처럼 가장 어렵고 중요 한 혁신은 종종 최종 사용자, 아이폰 근처 발생합니다. 큰 데이터 산업의 가장 중요 한 부분은 데이터를 통찰력을 얻을, 조직과 개인의 행동에 영향을 미칠 하 고 세상을 변화를 처리 하는 데 컴퓨터를 사용 하는 방법. 데이터 수집 및 데이터 정렬을 표준화 하 고 미래에 자동 될 것입니다 그리고 분석에 대 한 인공 지능을 사용 하는 능력은 더 중요 한 될 것입니다.

실리콘 밸리의 주요 AI 회사 보고 지금으로 나눌 수 있습니다 다음 세 가지 범주: 1. 사용자 행동 분석, 제품 및 마케팅, LinkedIn 추천 시스템 및 ibeacon 달성 하기 위해 마케팅; 저장 같은 개선 2. 큰 데이터를 정확 하 고 효과적인 예측 및 계획, 동네 등 신선한 아마존을 달성 하 고 시장 Grub; 이전 기간에 나타난 3를 사용 하 여 분산 된 개인의 많은 수를 조정 합니다. 분석 데이터의 다양 한 종류를 식별, 똑 똑 장치 및 Google 두뇌 및 무인된 차량 및 둥지로 표시 하는 스마트 장치를 개발.

이러한 제품의 분명 한 공통점은 그들이 기계 인간의 작업 부하를 줄이기 위해 똑 똑 하 게 하고있다. 이 목표의 기술 개발, 역학은 고 따라서 세상을 바꿀 가장 유망한 방법으로 이전에 언급 된 회사의 4 종류를 고려 한다.

이 큰 데이터 회사에는 어떤 종류의 사람이 필요 합니까

무엇에 대해 큰 데이터 기업, 또는 큰 데이터 회사는 정말 세상을 바꿀 수 있습니까? 여기는 실리콘 밸리의 뜨거운 높은-주파수 단어에 대 한 소개: 데이터 과학자.

이 위치에 대 한 이유 이며 하지 데이터는 큰 데이터 엔지니어의 작품은, 액세스 하는 더 나은 방법입니다. 그 이유는 무엇 인가? 그냥 위의 4 회사의 요구에 맞게. 데이터 더, 수학적, 우리 샘플 결과에서 알 수 없는 데이터, 즉,의 효과 분석에 자신감을 가질 수 있습니다 더 많은 데이터 기계 학습 더 좋은, 더 지능적인 AI AI, 그리고 큰의 불가분의 일부입니다.

결과 데이터 과학자는 매우 포괄적인 직업. 그것은 선택 알고리즘, 그리고 산업 기술에 대 한 깊은 이해를 최적화 하기 위해 통계 분석의 지식이 필요 합니다. 사람의이 그룹은 데이터 제품 개발의 핵심입니다. 실리콘 밸리에서 시작의 대부분은 이미 그것, 필요성으로 신입 거의 $100, 000의 급여를 받을 수 있습니다. 그리고 막연 한 정 및 오해 또한 어떤 사람들 농담, 데이터 과학자는 베이 지역에 거주 하는 데이터 분석가.

그것은 자체 데이터의 급속 한 발전 큰 처리에서 데이터 엔지니어에 게 많은 과제를 가져 또한는 언급 가치가 있다. 다음 두 가지 측면에서 주로:

데이터 볼륨의 급속 한 성장입니다. 오늘, 데이터 생성은 매우 쉽게 된다. 매 순간 소셜 네트워크, 모바일 애플 리 케이 션, 그리고 거의 모든 인터넷 관련 제품 데이터를 많이 생성 됩니다. 전통적인 중앙 집중식된 저장 방법 분명히 이러한 많은 양의 데이터를 처리할 수 없습니다. 이 시점에서, 우리는 새로운 저장 방법, 클라우드 스토리지, 및 Hadoop 분산된 컴퓨팅 플랫폼 등 새로운 처리 계획 등 필요합니다.

데이터 자체의 구조화 되지 않은 자연. 전통적인 데이터 처리 분야에서 우리는 주로 구조적된 데이터 처리, 예를 들어 Excel 테이블 양적 데이터를 표시할 수 있습니다. 지금 우리는 사회 네트워크 의견, 사용자 업로드 오디오 및 비디오 같은 구조화 되지 않은 더 많은 데이터를 직면 하 고는. 이 데이터는 다양 한 형식의 데이터, 텍스트, 사진, 비디오, 오디오를 포함 하 여 많은 귀중 한 정보를 포함 하에 존재 하지만이 정보 분석 수 깊은 계산에 필요 합니다. 이 지능형 분석 사용 하 여, 이미지를 인식 하 고 "빅 데이터" 도전 데이터 마이닝을 위한 새로운 알고리즘의 시리즈를 필요 합니다.

이제 실리콘 밸리 벤처는 새로운 응용 프로그램 및 메서드를 것 들의 인터넷을 탐험 하 고 있다. 이제 스마트 장치는 단지 단지 시작, 둥지, 둥지 인수 스파이, Iotera, emberlight 및에 적은 수의 사람들의 장난감의 일부입니다. 모든 가정 설치 스마트 냉장고, 스마트 전구, 스마트 테이블, 스마트 소파 큰 데이터의 힘 사용의 거 대 한 규모와 플레이로 올 것 이다.

또 다른 각도 사람들입니다. 전에, 그들의 관계를 다양 한 차원에서의 교차 만듭니다 거 대 한 네트워크와 얘기 했습니다 하는 모든 장치를 대체 하는 경우 각각의 데이터를 많이 구성 되어 있습니다. 분석 이해는 이러한 사회적 관계 된다는 것 큰 데이터, 즉 사회 물리학에 대 한 또 다른 흥미로운 응용 프로그램 방향을 예측 합니다. 하지만 전국에 실리콘 밸리에서 속도 따라 그것은 아무리 대중화의 어떤 측면 5 년 이상 대기 해야 같은 느낌.

이전 기술 혁명과 산업 개발, 모듈 및 표준화, 또는 심지어 자동 고립과 중간 계층과 응용 프로그램 계층에 큰 데이터의 기본 인프라 것 점차적으로 큰 데이터를 볼 수에 비추어 앞 데이터 엔지니어의 주요 전장에서 주요 기업 될 것입니다.

실리콘 밸리 회사의 큰 데이터 상태를 실행

현재 실리콘 밸리의 각 회사의 데이터 처리 수준 그리고 패턴 차이가 꽤 큽니다. 페이스 북과 같은 몇 가지 주요 기업, 뿐만 아니라 대부분의 회사는 중 하지 수 데이터 처리 또는 별도 데이터 처리 부서는 주로 데이터의 처리에 대 한 기본에서 늦은 분석 그리고 회사 내에서 다른 부서는 설정.

이 회사에 대 한 별도 데이터 처리 부서를 설정 여전히 수 있습니다 길이에서. 예를 들어 페이 스 북 페이스 북의 데이터 처리 플랫폼을 구축 하는 4 년 거의 30 이상 사람들의 팀을 있다. 오늘, 페이스 북은 여전히 플랫폼의 나날 가동을 지원 하기 위해 100 개 이상의 엔지니어 필요 합니다. 그것은 생각할 수 있는 큰 데이터 분석 인프라는 이미 시간이 많이 걸리는 프로젝트입니다. 링크 드 인의 큰 데이터 부문의 건설 또한 전체 6 년을 촬영 하고있다.

일반적으로 말하자면, 회사 설정 데이터 처리 플랫폼 독립적으로 여러 어려움이 있다.

충분 하지 않은 좋은 데이터 엔지니어 팀을 구축 하

데이터를 통합 하는 충분 하지 않은 능력

아니 기본 하드웨어 및 소프트웨어 데이터 분석을 지원 하기 위해 운영 하 게 쉬운

이러한 주요 어려움 대용량 데이터 분석 더 전문적인 서비스, 우리는 점차적으로 볼 "실리콘 밸리 데이터 처리 산업 체인" 등장. 데이터 저장소, 데이터 분석 플랫폼, 데이터 분석, 데이터 시각화 등 비용의 모든 측면 더 이며 고도의 기술 회사 자체 시키는 더 높은 여전히 서비스, 그리고 더 많은 재능과 자원을 핵심 사업 개발을 제공 하기 위해 전문 데이터 처리 회사 사용 하는.

또한, 회사의 데이터 처리 요구 사항은 점점 더 높은입니다. 뿐만 아니라 필요 효과적인 처리 결과, 또한 데이터 수 있는 셀프 서비스, 자기 관리, 보증 데이터 보안, 완벽 한 실시간 분석 처리 해야 합니다. 이러한 많은 요구는 또한 더 뛰어난 전문된 팀의 우위를 확인 합니다. 그리고 같은 통합된 서비스 체인 일정, 기회를 제공 하기 위해 많은 큰 데이터 회사에 뿐만 아니라.

실리콘 밸리는 매우 마법의 장소입니다. 과학 및 기술 여기의 개념 또한 수 없는 예외 후에 찾았던 것입니다, 아주 뜨거운 발사. 그러나이 열정 및 관심사는, 어느 정도까지, 실리콘밸리의 혁신 원동력. 도 많은 경우에 투기 스티커의 큰 데이터 신생의 조각은 총에 해변에서 가트너 큰 데이터의 개념 다시 현실에 있을 것입니다 예상 하는 경우에 경우에, 하지만 더 많은 사람들이 더, 더 영향력 있는 제품을 개발 하는 업계에 큰 데이터에 투자할 것입니다 믿습니다. 모든 후, 간단한 피치와는 달리 큰 데이터 자체, 표시 및 사용 되도록 보장 됩니다.

"의 하단에" 실리콘 밸리의 큰 데이터 섹션, 내가 Evernote AI 부장 Zeesha Currimbhoy, LinkedIn의 큰 데이터 부문의 감독 및 큰 데이터 개발 선도 기업 3의 인터뷰. 이렇게 함으로써, 당신은 어떻게 실리콘 밸리 회사 하 고는 좋은 굴 삭 기 및 "세계 변경" 하는 방법에 대 한 좀 더 구체적인 수 있습니다.

(책임 편집기: Mengyishan)