큰 데이터의 시대에 도전과 기회

귀중 한 정보에서 채굴 될 수 있기 때문에 주목을 받았다 큰 데이터 데이터 집합 거 대 한 수를 말합니다. 월스트리트 저널 미래의 번영을 이끌어 세 가지 주요 기술 변화 큰 데이터 나이, 지능형 생산 및 무선 네트워크 혁명 이라고 합니다. 맥킨 지 보고서는 데이터를 생산 하는 수단 및 큰 데이터 혁신, 경쟁 및 생산성 향상에 대 한 다음 개척지는 지적 한다. 세계 경제 포럼의 보고서는 가치가 새로운 부로 큰 데이터를 발견 오일 만큼. 따라서, 선진국 경쟁의 새로운 라운드로 큰 데이터를 사용 하 여 중요 한 손가락의 지휘 높이 점유 해야 합니다.

빅 데이터 시대의 도래

인터넷, 특히 모바일 인터넷의 발전 사회 경제의 모든 측면을 대중의 일상 생활 정보화의 침투를 가속화합니다. 데이터 표시는 1998 글로벌 인터넷 사용자 평균 월별 트래픽을 1 MB (메가바이트), 2000 10 mb, 2003 년은 100 mb, 2008 년은 1 기가바이트 (1GB 같음 1024MB) 2014 10 기가바이트 될 것입니다. 총 네트워크 트래픽을 최대 1EB (즉 1 십억 GB 또는 1000PB) 시간 2001 년에는 1 년, 2004 년에는 1 개월, 2007 년에는 1 주일, 그리고 2013은 단 하루, 즉, 하루에 생성 된 정보 양의 188 백만 DVD 디스크 새겨진 수 있는. 세계에서 중국의 인터넷 사용자의 첫 번째, 매일 생산 하는 데이터의 양을 또한 세계의 최전선에. Taobao 역은 하루, 50 TB 보다는 더 많은 일일 데이터 생성 수 거래의 수백만의 수만 보다 더 (1 1tb는 1000GB), 스토리지 40PB (1PB 같습니다 1000 TB). 바이 두 회사의 현재 총 데이터 1000PB, 매일 수십 PB 데이터의 대략 6 십억 시간 검색 요청을 처리 하는 1 조 페이지 가까이 저장 웹 페이지의 수에 가깝습니다. 8Mbps (초당 메가 비트) 카메라의 수십만의 트래픽 및 보안 카메라를 설치 하는 경우 3.6 g B 데이터 1 시간, 도시를 생산할 수 있는, 달 당 생성 하는 데이터의 양이 PB의 수십을 도달할 것 이다. 병원은 또한 데이터 생성 됩니다. 환자가 되었습니다 수십 기가바이트 (GB)의 CT 이미지의 연간 외래 환자 서비스는 수십억, 그들의 정보는 오랜 시간 동안 보관 해야 하는 동안. 즉, 삶의 모든 생 업에서 존재 하는 큰 데이터, 큰 데이터 나이 오고 있다.

정보 폭발 오늘, 시작 되지 않습니다 하지만 최근 몇 년 동안에서 사람들이 더 큰 데이터의 급속 한 성장을의 알고 있다. 인터넷 사용자의 수는 증가 하는 한편으로, 다른 한편으로, 것 및 가전 제품의 인터넷으로 표시 하는 네트워크 장치 수가 빠르게 성장 하고있다. 2007 글로벌 500 백만 장비 네트워킹, 0.1 인당, 2013 글로벌 네트워킹, 70 인당 50 십억 장비 해야한다. 광대역의 개발, 인당 네트워크 액세스 대역폭 및 트래픽 또한 증가 급속 하 게. 전역 데이터의 새로운 세대 증가 했다 40 %1 년, 즉, 총 양의 정보 수 두 2 년 마다, 그리고이 동향은 계속할 것 이다. 현재, 더 많은 것의 단일 데이터 집합 용량 보다 수십 TB 또는 심지어 몇 PB 드물지 않다, 그것의 크기가 너무 크면 기존의 소프트웨어 도구를 사용 하 여 크롤 링, 관리 하 고 콘텐츠를 처리 하도록 허용 하는.

데이터, 더 어려운 그것입니다, 하지만 그것을 파고, 있을 수 있습니다 더 많은 가치를 큰 데이터 열에 대 한 이유의 더 큰 크기입니다. 우선, 큰 데이터 여론 및 대중의 의견을 반영합니다. 인터넷에서 네티즌에 의해 생성 하는 대규모 데이터 기록 그들의 생각, 행동 및 심지어 감정 풍부한 사양 및 많은 규칙 정보를 포함 하는 정보 시대에는 실제 사회와 네트워크 공간 깊은 융합의 제품입니다. 중국 인터넷 네트워크 정보 센터 통계에 따르면 2012 년 말에 중국 네티즌의 수는 564 백만, 휴대 전화 사용자 420 백만, 관련 데이터의 분석을 통해 공공 수요, 호소 및 의견을 이해할 수 있다. 둘째, 비즈니스 및 정부 정보 시스템 매일 꾸준한 데이터를 생성합니다. 시만 텍 회사의 연구 보고서에 따르면 글로벌 기업의 총 정보 저장소에 도달 2.2ZB (1ZB와 1000EB), 67%의 연간 증가. 병원, 학교 및 은행 또한 수집 하 고 많은 양의 정보를 저장. 정부는 환경 및 사회 관리에 필요한 정보를 수집 하는 센서 등 감지 단위를 배포할 수 있습니다. 2011 년, 영국의 자연 잡지 특별 한 문제를 출판, 경우 보다 효과적인 조직 및 큰 데이터를 사용 하 여 인류 사회 발전에 과학의 역할에 더 많은 기회 있을 것입니다.

큰 데이터 응용 프로그램의 영역

대용량 데이터 기술 각계 각층에 적용할 수 있습니다. 거 시 경제 앞에 IBM 일본 제조 산업에 영향을 미치는 480 경제 데이터에 대 한 인터넷 뉴스를 검색 하 고 구매 관리자 지 수의 예측된 값을 계산 하는 시스템을 예측 하는 경제 지표를 설정 했다. 인디애나 대학 거의 수천에서 6 기분에 정리는 구글에 의해 제공 도구 분위기 분석을 사용 하 여 네티즌의 의견, 87%의 정확도 속도와 다우 존스 산업 지의 변화를 예측 하는 따라서. 제조 측면에서 월스트리트 헤지펀드 고객에 따라 그들의 제품의 판매 분석 그들의 쇼핑 사이트의 리뷰; 일부 기업 고객의 수요를 이해 하 고 시장 동향을 파악 하는 온라인 데이터 분석을 통해 구매 하 고 합리적인 재고 관리를 실현 하기 위해 대용량 데이터 분석을 사용 합니다. 데이터 표시 장 님 구매로 인해 글로벌 소매 업체 영업 손실 1 년,이 분석 정보의 100 십억 달러의 의해 발생.

농업, 실리콘밸리에는 기후 회사는 수십 년간 미국 기상 국 같은 데이터베이스에서 날씨 데이터를 가져오고 연간 수확량, 강우량, 온도 및 토양 조건의 상관 관계의 정확한 차트를 만드는 농장 생산 예측 및 농민에 맞춤된 보험을 판매 합니다. 비즈니스 세계에서 월마트-마트 판매 데이터를 분석, 고객 쇼핑 습관을 이해 하 고, 함께, 맞는 고객 그룹 세그먼트 수 있고 개인 맞춤된 서비스를 제공 하는 상품으로 온다. 월이 "드 겨울 자본 시장" 금융 부문에서 회사 분석 340 백만 Weibo 계정 메시지, 사람들의 감정, 판단을 구매 또는 판매 회사의 주식은 때 그들은 행복, 주식을 구입 하 고 그들을 판매 하는 때 그들은 불안의 규칙에 따라 결정. 알리 Taobao에 중소 기업의 화면을 상황에 따라 금융 건강을 밖으로 기업과 기업의 무결성에 관심을 지불, 그들은 대출 보장 발급. 이상의 30 십억 위안 빌려 줬, 대손 율은 0.3%만.

건강 관리, 인터넷 검색 내용에 따라 "구글 독감 트렌드" 프로젝트 질병 관리 및 예방, 97%의 비율로 질병 추적에 대 한 미국 센터에서 보고서에 비해 전세계 질병 살인의 확산을 분석 합니다. 소셜 네트워크는 임상 증상 교환 및 진단 및 치료는 의사는 병원에서 일반적으로 제공 되지 않는 임상 결과 대 한 통계 데이터를 사용할 수 있는 만성 질환으로 많은 환자를 위한 공유 플랫폼을 제공 합니다. 인간 유전자의 대용량 데이터 분석을 바탕으로, 권리 구제의 개별적인된 치료를 실현 될 수 있다. 모바일 데이터 마이닝을 통해 사회 보장 관리의 분야에서 우리는 소스, 여행, 실시간 교통 흐름 정보 및 인구를 부동의 혼잡을 분석할 수 있습니다. 텍스트 메시지, microblogs, 마이크로-편지와 검색 엔진을 사용 하 여, 당신은 수 있습니다 핫스팟 수집, 여론, 누르고 오보의 소스를 추적 합니다. 매사 추세 츠 연구소 MIT 100000-사람이 휴대 전화 통화, 텍스트 메시지와 공간 위치 및 다른 정보 처리를 통해 인간 행동, 범죄 예측의 시간적, 공간적 규칙 추출. 과학 연구 분야에서 집중적인 데이터 분석에 따라 과학적 발견 네 번째 예에서는 실험 과학, 과학 이론 및 계산 과학, 후 이며 소재 유전체학 및 대용량 데이터 분석을 기반으로 하는 합성 생물학 떠오르고 있다.

맥킨 지의 2011 년 보고서는 큰 데이터는 미국에서 건강 보험에 대 한 사용는 잠재적인 $300 십억 조 1 년 사용할 수 개인 위치 데이터를 사용 하 여 서비스 공급자에 대 한 250 십억 유로의 잠재적인 연간 흑자와 함께 유럽에서 행정에 대 한 추측 대용량 데이터 분석을 사용 하 여 소매 업체 60%, 영업 이익 증가 수 그리고 제조 장비 어셈블리의 비용 50% 감소 될 것 이다.

대용량 데이터 기술 영향 및 과제

현재, 큰 데이터 기술의 응용 프로그램 여전히가지고 몇 가지 어려움과 도전을, 대용량 데이터 마이닝의 4 개의 링크에서 구현 됩니다. 첫째, 데이터 수집의 지역에서. 인터넷 등 정보 시스템의 조직 이기종 또는 심지어 이기종 데이터 수집 가능한 공간 로고, Quweicunzhen, 연결할 네트워크에서 데이터를 경우 필요한, 역사와 비교 될 수 있다 데이터, 다중 각도 확인 포괄 및 데이터의 신뢰성. 두 번째 데이터 스토리지입니다. 낮은 비용, 낮은 에너지 소비, 높은 신뢰성 목표, 일반적으로 중복 구성, 배포 및 클라우드 컴퓨팅 기술, 분류, 무게, 및 필터링을 통해 특정 규칙에 따라 데이터의 저장소에서를 사용 하 여 달성 하기 위해 스토리지, 감소 하 고 나중에 검색을 위한 태그를 추가 합니다. 세 번째는 데이터 처리입니다. 일부 산업 수백 개의 매개 변수를 포함 하는 데이터, 그 복잡성은 자체 데이터 샘플 뿐만 아니라 이기종 다중 소스, 여러 단체와 여러 공간 사이 상호 작용 역동성에 구현, 그것은 설명 하 고 전통적인 방법 측정 하기 어려운, 처리의 복잡성은 매우 큰 있고 그것은 측정 하 고 높은 차원 이미지 등 멀티미디어 데이터의 차원을 처리 하는 데 필요한. 컨텍스트 연결을 사용 하 여, 역동적이 고 가능성이 모호한 데이터의 수많은 정보를 종합 하 고 이해할 수 있는 콘텐츠를 내보내기 의미 분석. 결과의 시각적 프레 젠 테이 션 보다 직관적인 통찰력에 대 한 결과를 만든다. 현재, 비록 컴퓨터 정보 큰 진전이 있다, 하지만 대해서만 소규모, 구조 또는 클래스 데이터 분석의 구조, 깊은 하지 데이터 마이닝, 다른 산업에서 기존 데이터 마이닝 알고리즘은 일반적인 어려운.

대용량 데이터 기술 적용은 매우 유망한입니다. 현재, 우리 나라 건물 순조로운 사회는 만능 방법에의 여행에, 산업화, 정보화, 도시 화, 농업 현대화 하는 작업은 매우 무거운, 정보 인프라의 다음 세대, 현대 정보 기술 산업 시스템, 사운드 정보 보안 시스템, 정보 네트워크 기술의 광범위 한 사용의 승진의 개발의 건설은 대용량 데이터 분석 국가 조건과 상황을 이해, 파악 법, 과학 발전을 실현 하 고 과학적인 결정에 대 한 큰 의미 이며 우리가 데이터의 중요 한 가치를 인식 해야 합니다.

우리이 금광에 큰 데이터를 개발 하기 위하여 해야 할 일이 많다. 첫째, 대용량 데이터 분석 기술 및 제품 대용량 데이터를 지원 해야 합니다. 선진국에서 일부 정보 기술 (IT) 기업 증가 개발 노력 및 합병을 통해 큰 데이터 솔루션 공급자 자신을 변환 하기 위해 그들의 노력을 앞으로 두고 있다. 일부 외국 기업 무료로 모두 훈련, 표지판의 대용량 데이터 분석을 수행 뿐만 아니라 정보를 얻기 위하여. 외국 대형 데이터 분석 기술 및 플랫폼에 너무 많이 의존 하기 때문에 정보 유출의 위험을 회피 하는 것이 어렵습니다. 일부 생활 정보가 보인다, 사실, 그것은 또한 국가 경제 및 사회 펄스를 만질 수 있다. 따라서, 우리는 큰 데이터 기술 및 제품의 자율 제어 해야 합니다. 2012 년 3 월에서에서 미국 정부 발행 큰 데이터 연구 및 개발 이니셔티브, 1993, "정보 고속도로"의 발표를 다음 주요 기술 배포 하 고 연방 정부와 일부 부처 큰 데이터 개발을 위한 자금을 준비 했다. 우리는 선진국와 간격의 많은 그리고 우리 국가 정책 지원 합니다.

중국의 인구 순위 먼저 세계에서 될 것입니다 가장 데이터 생산 하는 국가, 하지만 우리 데이터 보존에 관심을 지불 하지 않으면, 스토리지 데이터의 활용도 높지 않다. 또한, 일부 분야 및 우리 나라에서 기관 데이터의 많은 수를가지고 있지만 불완전 하거나 반복적인 투자의 결과로 다른 분야와 함께 그들을 공유 하는. 정부 데이터를 휴식 한다 분리주의자 및 봉쇄 시스템 메커니즘의 개혁을 통해 공공 정보에 주의 하 고 데이터 마이닝에 관심을 기울여야 한다. 미국 연방 정부는 지역 사회에 정보 서비스를 제공 하 고 광산을 격려 하 고 사용 하는 통합된 데이터 포털을 설정 합니다. 예를, 날씨 및 비행 지연 시간 엄수 율을 촉진 하는 항공사 간의 관계를 제공 합니다.

발굴 및 대용량 데이터의 활용 법에 있어야 합니다. 작년의 끝에, 네트워크 정보 보호를 강화 하기 위해 결정을 통과 하는 NPC는 좋은 시작, 현재 "정보 공개 법"를 개발 하는 데 필요한 빅 데이터 시대의 도착에 적응. 지금 많은 단체와 기업 고객 정보의 많은 수가 있다. 그것은 해야 뿐만 아니라 격려 지역 사회를 위한 데이터 마이닝 하지만 또한 개인의 사생활의 침해를 방지, 데이터 공유를 촉진 하 고 데이터의 오용 방지. 또한, 그것은 권리와 데이터 마이닝 및 활용도의 범위를 정의 하는 데 필요한입니다. 대용량 데이터 시스템 자체의 보안은 특별 한 주의 기술 안전 및 관리 시스템 보안에 관심을 지불의 가치 또한, 정보가 손상, 훼손, 유출 또는 도난, 시민과 국가 정보 보안 보호.

큰 데이터의 시대 혁신적인 재능에 대 한 호출합니다. Geithner 컨설팅은 큰 데이터 나타납니다 4.4 백만 새로운 IT 일자리와 비 it 일자리의 수천 전세계 예측 합니다. 미국 440, 000-490,000 2018, 140000 190000 사람들;의 격차에 의해 데이터 분석 재능의 깊이의 필요를 예측 하는 맥킨 지 단위의 요구에 잘 알고 있어야 고 대용량 데이터 기술 및 응용 프로그램 관리자 1.5 백만의 이해, 재능 차이가 큽니다. 중국 재능, 위대한 나라 이지만 이해 하 고 큰 데이터를 적용할 수 있는 혁신적인 인재는 부족 한 자원.

큰 데이터 정보 기술의 새로운 세대의 집중 반영, 응용 프로그램 기반 서비스 분야, 무한 한 잠재력, 및 그것의 표준 및 산업 패턴 새로운 산업 하지 않은 아직 형성, 즉 도약 앞으로 개발을 실현 하기 위해 중국에 대 한 귀중 한 기회입니다. 우리가 주의 기울여야 한다 경제 성장의 모드 변경의 효과적인 핸드로 받아 개발 및 전략에서 큰 데이터의 활용, 하지만 과학적인 계획에 관심을 지불, yihongershang을 피하기 위해.

(저자: 기술 설계의 중국 아카데미의 학회 회원)

(책임 편집기: 루 광)