향후 5 년간 큰 데이터 기술을 바꿀 것 이다 5 개의 동향

얼마나 많은 데이터를 저장할 수 있는 디스크에 연연 하지 또는 여부 Hadoop을 사용 합니다. 큰 데이터에 대 한 진짜 문제 이며 비즈니스 사용자는 Hadoop을 사용 하는 어떻게, 얼마나 우리의 시스템 지능형 경로에 갈 수 있는 어떻게 우리가 모든 통제 있는지 확인 거 야.

지난 몇 년 동안 큰 데이터 기술 어려운 병을 사람들이 싫어 하 고 유형 및 속도의 추구를 완전 한 데이터에서 포커스 이동에 낙관적이 고 긍정적인 용어에서 먼 길을 왔다. 소위 "빅 데이터"와 그것의 관련된 기술 주의의 높은 학위를 받은, 상세한 검사 그리고 자기 공개, 실제 결과 우리의 인식에 큰 차이가 있는 것. 그러나 오늘날,, 우리는 역사에 중요 한 전환점에 서 있다 그리고 다양 한 논쟁 그 앞에 확실 한 결론에 지도.

이제 자동화와 정보 되 고 작업 세계에 대 한 새로운 방향, 추세가입니다 데이터 마이닝을 간소화 하 고 교통 시스템을 모바일 응용 프로그램에서 모든 지능형 기능을 소개 하. 큰 데이터 "큰" 궁극적인 목표, 새로운 처리 모드의 다양 한 종류의 출현은 지능형 결과에 데이터 전송의 양을 증가 겨냥. 소위 분류 궁극적인 목표, 그것의 중요성 우리 주위에 세계의 더 깊이 이해 하면서 대규모 데이터 정량화를 달성 하는 데 도움이 하는 것입니다.

이러한 맥락에서 우리는이 구조 사용 합니다 데이터 회의 플랫폼 세부 정보는 모임으로 탐구 하는 뉴욕, 19 주에 대 한 이번이 달에에서 시작 됩니다. 이 시간 동안 세계의 기술 거 인, 잘 알려진 기업 및 일부 가장 지적인 신흥 기업 그들의 통찰력을 공유 하는 대표자를 보낼 것 이다. 그들은 매매, Hadoop의 미래 방향 및 심지어 인공 지능의 최첨단 기술에 대 한 싸움을 다루는 큰 데이터에 관련 된 주제를 모색할 것입니다.

아래 내가 당신에 게 모두 내가 우려 5 트렌드에 대 한 아마도 수 있도록 사전에 주제 및 프레 젠 테이 션 방향을 논의 하기 위해 회의 스피커를 파악을 가져올 것 이다. 당신이이 회의 참석에 관심이 있다면,이 기사는 나중에 역할을 할 수 하는 것이 좋겠습니다.

1. Hadoop 확고 단계와 실제 플랫폼 개발

아파치 Hadoop 분산된 파일 시스템의 집합을 여전히 있을 수 있습니다 MapReduce 실행 프레임 워크의 역할을 계속 하지만 Hadoop 멈추지 않을 것입니다. 원사의 다양성 덕분에 Hadoop 클러스터는 지금 동일한 기본 스토리지 인프라의 리소스 장점을 극대화 하는 동안 다른 작업의 수에 대 한 다른 실행 프레임 워크의 어떤 수를 실행 수 있다. 예를 들어, MapReduce 클러스터 ETL 작업에 대 한 될 수 있습니다 지금 또한 기계 학습을 지원 하기 위해 스파크 클러스터, 스트림 지향 폭풍 클러스터 및 tez 클러스터 대화형 SQL에 대 한.

본질적으로, Hadoop 다양 한 응용 프로그램을 지 원하는 실제 플랫폼 특정 작업 지향 유틸리티에서 이동 했다. 얼, 친구나 트위터, 나타내는이 새로운 사용, Cloudera에서 경쟁 우위를 얻고 있다 Hortonworks 등 모임의 Hadoop 솔루션 공급자는 또한 그들의 제품으로 다양 한 새로운 기능을 소개 하 고 어떤 경우에 주류 Hadoop 사용자가 필요로 하는 새로운 프레임 워크를 지원. Continuuity, 박격포 데이터 및 wibidata 같은 신흥 기업 또한 더 많은 개발자를 위한 도구를 제공 하기 위해 기본 기술의 하위 집합을 여는 동안 큰 데이터 응용 프로그램을 단순화 하 여이 진화를 가속.

물론, 그것은 단지 개발자 경향이 Hadoop의 플랫폼, 변환의 영향을 받는 느낌과 많은 소프트웨어 공급 업체는 시대의 급류. 전통적인 데이터 웨어하우스, 데이터베이스, 그리고 심지어 통계 소프트웨어 공급 업체는 사실 Hadoop 이제 여러 가지 방법으로 콘텐츠를 분석 하는 동안 저렴 한 비용에 더 많은 데이터를 저장 하는 그들을 도울 수 동의 해야 합니다.

2. 인공 지능 상승 하기 시작

우리 장비를 컴퓨팅, 우리 데이터는, 우리 있다 알고리즘: 그래서 우리는 지금 인공 지능을 구축 하기 위한 기술적인 기반을가지고. 제발 날 오해 하지 마세요, 인공 지능 이다 무서운 그것은 공상 과학 소설, 그리고 그것은 정말 인간의 상태를 바꿀 수 없습니다 하지만이 기술은 결국 현실이 될 것입니다. 기계 학습 프로그램의 지속적인 개선의 결과로 우리는 음성 명령 인식, 미디어 서비스 예측 사용자 기본 설정, 데이터 요소, 수십억 및 잠재적인 가치 공간을 파고 잘 응용 프로그램 간의 관계를 식별할 수 있는 소프트웨어의 능력에 대 한 스마트폰 사용 하 수 있다.

IBM의 왓슨 시스템은 요리사의 레시피 재료의 정확한 목록을 제공 하기에 충분히 가깝다.

미래를 찾고,이 분야의 심도 있는 연구 더 실용적이 고 더 강력한 우리의 인공 지능 시스템을 도울 것 이다. 복잡 한 데이터 집합에서이 모델 추출 하 고 프로그래밍 하 여 실현 될 수 없는 심층 분석 경로 식별 수 있습니다. 감독의 부재에서 깊이 있는 학습 프로젝트를 성공적으로 지도 하 여도 작업의 호스트 게임 규칙을 배울 다른 언어의 어휘 특정 개체의 모양을 파악 수 있다. 거의 하룻밤 사이, 많은 작업 수 없습니다가 이루어진 것을 지금 일시 킬 솔루션-레이블 콘텐츠 검색, 확인 하거나 우수한 정확도 및 다음 입력을 사용자의 단어와 식을 예측할 수 있는 같은 것.

새로운 영역에 새로운 콘텐츠를 적용 하 여 이러한 시나리오는 우리에 게 더 큰 잠재적인 가치를가지고 높습니다. 함께 수집 되 고 특정 암 세포의 특성은 무엇입니까? 우리 간호사는 의사만 액세스할 수 있는 정보를 이해를 도울 수 있습니까? 정확 하 게 측정할 수 없는 어떤 요인 10 대 자살의 원인을 반영할 수 있다? 어떻게 우리가 무인된 항공기와 상용 응용으로 자동 운전 자동차 운전 할? 그것은 사실 인공 지능은 구원 자, 하지만 그것은 우리에 게 빛과 광대의 가능성을 보여지 않습니다.

3. 사람들에 게 분석 기능을 가져

정말 까다로운 인프라에 비해, 데이터 분석을 표준화 하 고 쉽게 구현할 수 되지 않습니다 위대한 업적-하지만이 동향은 여전히 우리 사회에 상당한 변화를 가져올 것 이다. 우리의 삶에 대 한 무한 한 가능성에 문을 여는 것은 단순히 새로운 방식으로 그들 주위 데이터를 검사 하는 기능으로 일반 대 중을 제공 하.

어제, 예를 들어 내가 프리웨어를 사용 하 여 내 itunes 라이브러리의 웹 그래픽을 내장 하 고 Snowden NSA, 키이 스 알렉산더의 이사와 함께 최근의 인터뷰에서 사용 되는 단어의 몇 가지 비교. 데이터 과학 또는 깊은 기법, 학습 사용 하지 하지만 난 아직도 단순한 분석 작업을 수행 하 고 내가 찾은 재미 있는 데이터를 보면 수 있습니다. 그 전에, 나는 내 Twitter 추종자를 매핑, 주요 Gigaom 웹사이트의 저자에 의해 출판 및도 내 음식 섭취 량과 운동 강도 정리 분석 했다. 아마도 젊은 이들이 적극적으로 확인 하 고 재미 있는 방법으로 그들의 데이터를 분석 하 라는 데이터 기술자를 더 밀어 프로그램 시민을 동기를 부여 도울 수 있다-누가?

그리고 점점 더 정교한 도구와 일반적인 사람, 그리고 데이터의 증가 볼륨을 사용할 수 있는 우리가 수집 (피트 니스 장비, 네트워크 자동차 등 많은 원본의 데이터 포함), 자체의 정량 분석이 점점 더 중요 한 될 것입니다. 다양 한 목적을 위해 우리는 점차적으로 데이터 입력 및 알고리즘 출력 프로세스의 중요 한 부분이 되고있다. 우리의 개인 데이터를 모든 종류의 파급 효과-우리는 광고 및 작업에서 참조를 포함 해야한다 접수-그리고 그것은 모든 각 사용자 적어도 작은 양의 기업, 조직, 그리고 정부 부서에 사용할 수 있는 정보를 배울 수 있는 사실에 온다.

4. 클라우드 컴퓨팅

내가 3 년 전에 말했듯이, 클라우드 컴퓨팅 및 빅 데이터의 경로 함께와 서 충돌, 바인딩된 이며 투기는 현실-되고있다 실제 영향 예상 보다 넓은. 사실,이 광대 한 컨버전스의 큰 영향 거의 Hadoop, 비즈니스 인텔리전스 스위트 또는 다른 분석 소프트웨어, 서비스 솔루션의 실제 사용에 반영 됩니다. 사실,이 동향 그것 쉽게 만들었습니다 시작 및 새 작업 부하를 클라우드로 마이그레이션할 성숙 기업에 대 한 하지만 나를 위해, 클라우드 기술 변경의 가장 큰 의미는 어려운, 원래 컴퓨터 과학으로 민주화 과정의 소개.

난 이미 스트레스를, 기술 솔루션의 일부는 이미 (Api)를 통해 "서비스"의 형태로 사용 되 고 캠프는 여전히 성장 하고있다. 당신이 개발자가 고 Hadoop 및 탄성 mapreduce를 사용 하는 방법을 배우고 싶어요, 거기 이미 옵션 사용할 수 있습니다. IBM의 악화 시키십시오 또는 Mindmeld Api 같은 특정 서비스에 액세스할 수 있어야 하 고 자신의 데이터에 다른 알고리즘에서 AI 레이어를 빌릴 필요가, 거기 또한 많은 옵션을 사용할 수 있습니다. 구글 및 Pinterestto 넷 플 릭 스 등 많은 공급 업체의 지원으로 이러한 기술의 대부분 우리가 사용 하는 서비스에 포함 될 것입니다.

이러한 솔루션 정말 작동 하 고 개발자 ("지능형" 일반 권장 아니라, 그것은 보다는 피할 수 없는 재앙 처럼, 이점을 이며 심지어 평범한 작업가지고 소비자 예상 보다 더 나은 결과 위해 충분 하다 진짜 정보를 가져올 수 있는 경우. 특정 항목의 음식 조달 목록에서 많은 친구를 믿지만 또한 일시적으로 음식의 일부이 성분의 혜택 잘라 알고 싶어, 우리는 어떤 백업 옵션 또는 어디에 비슷한 상품의 저렴 한 가격에 살 수 있다. 스마트폰 및 기타 컴퓨팅 장치의 처리 능력과 데이터 용량 지원, 잘 설계 된 응용 프로그램은 우리가에서 얻는 신호를 번역할 수는에서 & t 신호 타워 실제 수익을.

5. 법률 및 규정

마지막으로, 법률 시스템 또한는 잠재적인 영향 요소가 될 큰 데이터의 개발에 어떻게 효과 검토의 관점에 따라 달라 집니다. 지금, 중재인, 의원, 레 귤 레이 터와 심지어 대통령 하고있다 데이터의이 거 대 한 컬렉션 정말 의미를 파악 하 고 질서의 일종 밖으로 스케치. 물론, 그것은 돌이 난이 기류에 쉽게 그리고 그것은 훨씬 더 어려운 과정에서 모든 경쟁 우위를 악용.

관리 과정에서 가장 어려운 문제는 제대로 소비자의 개인 정보를 보호 하는 방법,이 부분의 정보 크게 소비자의 실제 경험을 개선 하기 위해 거 대 한 잠재력을가지고 있지만 동시에 또한 개인 프라이버시의 침해의 중대 한 위험을 가져온다. 또한, 많은 홍보 돈 지역 신흥이 쏟아져 시작 했다. 우리 재료 또는 최고의 가격에 새로운 의상을 구입 하 고 우리가 원하는 DNA 매핑 프로젝트에 참여 하 고 돌아온 99 달러 수 있습니다. 하지만 우리가 또한 다른 사람에 게 또는 하지 발생-같은 공용 컴퓨터에 대 한 롤링 광고를 해야 하는 경우에 우리가 제공 하는 중요 한 정보가 유출 되지 않습니다 있는지 확인 해야 합니다.

이것은 법률 업체와 법적 프레임 워크, 규정 및 소비자 합법적인 혜택을 얻고 있는 동안 개인 정보 보호 위반을 피하기 위해 사건 법률 초안을 다른 실무자에 대 한 거 대 한 도전 이다. 솔직히, 난 빅 데이터 기술 및 그것의 방향 이해 하지 않고 일시 킬 솔루션 작동 수 그리고 난 우리가 결과 만족 있을 것입니다 믿을 수 없어 모르겠어요.

물론, 우리는 페이 스 북, 구글, 그리고 모든 그들의 데이터를 분석 하는 Geico와 같은 회사를 싶지 않아 하지만 우리 비참 한 년 때 사이트의 디자인 이상, 돌아가고 싶지 않아 택시를 기다리고 있습니다, 작품 매우 효율적 이며 생활 맞춤 하지.