큰 데이터의 시대에 화 진 펭: 세 가지 주요 과제

구름에서 2012 년 10 월 29 일, "중국 클라우드 모바일 인터넷 혁신 웅대한 Prix 마지막 보너스 행사 및 혁신적인 기업가 정신 포럼" Beihang에서 개최 됩니다. 회의 중국 클라우드 산업 연립, Beihang 대학, 과학의 중국 아카데미의 학회 회원의 공동 회장 테마 보고서 할 주. 그는 세 가지 큰 과제는 빅 데이터 시대를 직면 하 고 있다: 1. 소프트웨어 및 데이터 처리 기능. 2입니다. 리소스 및 공유 관리의 도전입니다. 3. 믿을 수 용량 데이터 처리에 대 한입니다. 필드 대표는 다음과 같습니다.

중국 클라우드 산업 동맹, 과학의 중국 아카데미의 학회 회원의 공동 회장 Beihang 대학 학장

중국 과학원의 가슴의 대학인 펭 입력: 일시적으로, 특히에서 우리의 참여에 미국 온 모두를 존중 포럼 Lurkey, 친애 하는 혜택 사람들이 아저씨, 로빈 리, 신속 하 게 오늘 말한다, 그는 저녁에 비행기를 잡기 때문에 씨 Lurkey, 하는 시간을 두고 그래서 그는 그에 게이 분야에서 흥미 진 진한 이벤트를 소개 하 고 미래에 대 한 생각을 더 많은 시간을 줄 수 있습니다.

인터넷 기술, 우리 모두가 추구 하는 목표, 빠르고 높은 강한 추구 하는 것입니다 알으십시오. 그래서, 과거에서 마이크로 기술 많은 새로운 기회를 만들었습니다, 우리는 무어의 법칙, 통신 기술, 전송 우리에 게 장벽, 하지만 지금은 새로운 형태의 기술 자체 뿐 아니라 개발, 때문에 우수한 배관, 저장, 현재 슈퍼 컴퓨터를 강화 하 고 컴퓨팅 및 저장소 기능에 연결 하는 능력을 제공 알으십시오 전통적인 방법으로의 성장에 전적으로 의존, 큰 제한 되었습니다, 그리고 가장 중요 한 것은 인터넷은 우리의 기초에 중요 한 변화 이다.

최근 책 5 기술 혁명 또는 3 산업 혁명을 말한다. 예외, 인터넷 응용 프로그램 및 사회 생활 함께, 가장 중요 한 개발 콘텐츠 중 하나가. 현재 개발 및 대기업의 실제 운영에서 공급 업체, 우리는 보았다 데이터 실제로 전략 및 경제 개발을 위한 중요 한 인프라 되고있다. 그것은 또한 우리가 얘기 하는, 새로운 일과 우리가 지금 데이터와 서비스에 집중 하는 새로운 탐험을 선도 하는 정보 기술의 급속 한 발전에서 혜택. 데이터에 전체 변화에 거 대 한 증가 하고있다. 글로벌 데이터 증가의 내용을 보면, 많은 양의 데이터 우리는 오늘, 우리가 지금 무엇을 달성, 디지털 콘텐츠의 90%는 10 년 전, 20 년 전, 60 년 전 비교 된 거 대 한 변화. 같은 대형 데이터 공간, 얼굴 다시 우리 새로운 도전을 할 수 있습니다, 예를 들어 2007 년 15 테라 바이트의 데이터를 저장 하는 데이터 웨어하우스를 사용 하는 페이스 북 하지만 2010 년, 데이터 압축, 매일 데이터 웨어하우스 대기 4 시간 이상의 시간 과거, 상업 병렬 데이터 거의 100 노드의 합계를 하지 않습니다. 야 후의 Hadoop 클러스터는 이제 2700 명 이상의 페이스 북 창 고 노드와 4000 노드 있다. 데이터 응용 프로그램의 많은 수에 있는 과학적인 개인 컴퓨팅, 의료 및 데이터. 즉, 많은 데이터는 이제 실시간으로 하 고 그것은 우리의 전체 작업, 우리의 삶, 그리고 심지어 우리 경제에 영향을 시작.

따라서, 어떤 사람들 또한 언급 하는 디지털 경제 시대에 자본 경제 시대에서. 특히, 우리는 가상 세계, 실제 세계와 인간 사회 보다 더 많은 동일한 전에 창조와 관련 된 보았다. 그래서 일부 학자 들은 18 개월에 지도 하는 데이터 볼륨의 저장소 증가 및 기존 데이터 성장 뒤에 지연 시작 용량, 처리, 우리 사회의 현재 지식 선도 가장 큰 병목 현상에 직면 하고있다. 이 병목에서 과거 데이터, 주로 상업 데이터, 데이터에 의해 결정 됩니다. 그리고 지금은 데이터 불확 실한 데이터, 실시간 데이터의 많은 있다. 데이터 처리 용량으로 한다 라고는 지난 10 년간에서 우리 되었습니다 예를 들어 그리드 컴퓨팅, 피어-투-피어 컴퓨팅 데이터의 가장자리 뿐만 아니라 아주 최근 몇 년 사이 뜨거운 지능형 지구, 지능형 도시, 사물의 인터넷의 과학적인 계산에 따라 탐험.

최근 몇 년 동안, 도시는 실시간 대규모 클라우드 컴퓨팅, 그것은 중요 한 측면의 대규모 콘텐츠를 해결 하기 위해 미래, 우리가 아직도 탐험, 더 집중된 영역 되었다. 보기의 어떤 지점에서 클라우드 컴퓨팅으로 어떻게 문제, 대규모 데이터 처리에 상관 없이 지능형 처리 능력을 향상 시킵니다. 그러나, 얼굴의 동일한 기술적인 문제 발생, 먼저, 데이터 관리 기능, 처리 기능, 보안 서비스의 높은 신뢰성. 그것은 이러한 세 가지 기능 및 개발 공간 제한 때문에 정확 하 게 하지만 또한 현재 데이터 처리는 새로운 기회를 가져왔다, 데이터 및 경제와 사회는 밀접 하 게 연결.

그래서, 우리가 전에 말했듯이, 과거에는, 계산에 이론적인 분석 실험에서 과학적 연구의 3 가지 패턴 우리의 현재 과학 연구와 주요 발견의 기본 방법 되었습니다. 그래서, 다른 패턴 지금 나온다, 집중 소위 데이터, 연구 및 생산, 거기에 영향을 미치는 과정 되었습니다 새로운 과학 연구 개발에 대 한 지원의 4 번째 형태입니다, 또한 수 있습니다 너무 늦 었 어. 응용 프로그램에서 사실, 클라우드 컴퓨팅, 모바일 인터넷과 더 희망 통합된 시스템의 구축, 인터넷의 가상 세계에서 구름 같은 컴퓨팅 또는 가상 컴퓨팅 환경을 만들 수 있는 모든 자원을 데이터, 전통적인 데이터 인간의 공유에 집중 하 고 새로운 지식을 만들 수 있습니다. 더 효과적인 형성 환경 및 개발 공간을 통합. 클라우드 컴퓨팅은? 이제 많은 사람들이 4 차원, 큰, 유형, 값이 낮은 밀도, 말 달리 과거에는, 수공예품의 값은 구름의 현재 가치 보다 훨씬 높은 컴퓨팅.

와 같은 낮은 값 밀도, 상식에 의해 무한 한 가치를 창조 하는 도전 없는 데이터의 일반적인 분석 보다 훨씬 더 동안, 업데이트 속도 매우 빠른 시간에 민감한 상용 데이터 보존 이제 데이터, 우리 뉴스의 모든 종류를 참조 하는 웹 페이지, 데이터, 인간의 건강의 급속 한 중복에 교육 데이터 업데이트의 많은 수에서 데이터의 순간에, 중요 하지 않습니다 하지만 난 오래 시간 축적 및 새로운 데이터 공간 보기의 조합의 횡단면 등장,이 값은 우리는 창의력, 큰 될 수 있습니다 데이터입니다. 그것은 정확 하 게이 상황 때문에, 필자가 예를 들어, 상황 이란 무엇입니까? 이 예 전에 언급 한, 사람들이 2000 식당 식사에, 갑자기 사람들이 200000, 기본 생활 보안을 충족 하기 위해, 기본적인 개선, 어떻게 해야할지? 10 배 더 많은 사람들이 먹고, 시간 생존, 가장 간단한 방법은, 배 추 전골 두 부의 상태를 유지 하려면 어떻게 스튜? 두 부, 추가 끓인된 물, 삶은 양배추, 마지막으로, 새로운 포드 자동차 생산 라인, 공정 관리, 생산 라인 관리, 데이터 생산 라인에서에서 형성 형성. 대형의이 새로운 형태의 전문화, 수직 플랫폼의 모든 종류, 플랫폼의 통합 수준의 공공 처리 모델의 통합의 다른 영역에 표시 하기 시작 했다, 창조에 있다. 이 창조는 실제로 클라우드 컴퓨팅 모델, 그래서 더 강조 새로운 서비스 응용 프로그램 모델, 개발자의 설립과 새로운 혜 콘텐츠 사업자의 데이터 센터에 기반. 과거 상업 데이터와 과학적 데이터의 고성능을 해결 하기 위해 하지 하지만에 새로운 성능 가격 비율, 아니라 높은 품질을 보장 하지만 수 처리, 매우 정확 하 게, 하지만 기본적으로 사용할 수 있는 하 하지. 따라서 낮은 값 밀도, 하지만 새로운 문제 데이터 볼륨의 증가,이 개발 단계의 규모 데이터, 개발의이 단계는 또한 우리의 꿈 컴퓨터 사람들, 소위의 계산으로 모든 것. 우리의 전 실제 세계 시뮬레이션을 통해 데이터 모델 구축, 고성능 컴퓨터를 통해 개발을 지원, 지적인 활동을 통해 우리의 장비를 구축, 시스템, 포함 우리, 착용 형 컴퓨터 시스템을 포함. 또한 우리의 인터넷의 능력을 더 나은 의사 소통입니다. 그래서,이 생각은 그의 생각,이 세 가지 특성을 요약 하면,에 대해 얘기 하 튜링 상 수상작 전투.

무슨 과거 비즈니스 계산 및 과학 계산을가지고? 과학적인 계산 해결 튜링 기계와 알고리즘, 컴퓨터 기초, 과학 이론을 낳는다. 프로세스의 관리를 달성 하는 비즈니스 컴퓨팅, 워크플로 대표, 소셜 컴퓨팅, 큰 데이터는 경우에는, 너무 취소. 과학의 시대에는 운영 체제의 개발은 매우 강한, 그래서 아래 리소스를 관리 합니다. 비즈니스 계산, 데이터베이스, 개발 그리고 큰 과학적인 데이터, 대용량 데이터의 문제가 무엇입니까? 명확 하지 않습니다.

따라서,이 사회적인 계산, 현재 수학적 모델, 소프트웨어, 시스템의 능력의 결과로 모든 새로운 완전히 다른 가능한 변화는 있습니다. 그래서 난 여기 내가 이해 하는 무슨 말을.

첫 번째 큰 문제는 소프트웨어 및 데이터 처리 기능. 복잡성과 소프트웨어의 거 대 한 문제, 인터넷의 응용 프로그램 및 데이터의 불확실성, 때문에 닫힌된 세계에서 소프트웨어의 수학적 논리의 연구는 여전히 유효 하지만 더 개방적이 고 동적 이다. 예를 들어 데이터 모델 및 다른 대규모 데이터 처리, 입력, 출력을 하는 방법 질문에 대답을 찾을 수 있습니다. 과거 알고리즘은 컴퓨터를 처리할 수 있는지 여부를 결정 하기 위해 계산할 수 있다 볼 수 있다. 좋은 나쁜을 계산 합니다. 지금, 전통적인 전산 복잡, 우리 모든 큰 데이터 표시 되지 않습니다. 그래서, 어떻게 찾아야의 대략적인 알고리즘 및 근사 알고리즘 효과적인 시간에 이것은 새로운 규모 데이터의 새로운 과학 문제. 왜 전통적인 비즈니스 데이터베이스를 할 수 있습니까? 첫째, 승인 청구를 사용 하 여, 가격이 매우 높습니다, 그리고 오픈 소스 데이터베이스 유지 관리 한 권한 부여를 구입 보다 더 비싼 것 이다. 우리 보고 과거 관리 전통적인 데이터, TB 10000 달러, Hadoop 시스템 TB500 달러, 대부분의 콘텐츠는 무엇입니까? 전통적인 데이터베이스에 확장을 계속 하 최대, 성능 개선, CPU, 저장 Scarle, 전통적인 병렬 컴퓨팅 모델입니다. 이제 큰 데이터 인터넷, 분산된 컴퓨팅 및 서비스 기능의 저렴 한 비용 증가를 동적에 분산 됩니다. 따라서,이 접근은 또한 새로운 도전, 그리고 소프트웨어에 대 한 어떤 모델의 개발에 적응할 수 있습니다. 우리는 우리의 웹사이트의 디자인을 넘어 우리의 과거 프로그래밍 언어 보다 훨씬 그 Hadoop, 그래픽 처리, 기본 프로그래밍 모델을 알고 있다. 새로운 방식으로, 그것은 최소 대기 시간 및 간단한 작업 작업에 대 한 새로운 질문을 제기 하 고 발생 하는 문제에 대 한 묻습니다. 새로운 기능 표시, 동시에 그것은 그의 생산성, 새로운 결함 허용을 통해 처리량을 개선 하기 위해 그것의 확장성 때문에 분산 파동 노드의 콘텐츠 및 시스템, 인터넷 시스템을 유지 하는 방법의 신뢰성은 결코 때문에 짧은 보드 원리, 각 노드는 가장 높은 지점. 따라서, 오류 허용 방법으로, 새로운 변화 되었습니다. 필드, 우리 소프트웨어는 동시에, 데이터 과학, 핸드 분석, 상업 데이터는 기본적인 방법으로, 큰 과학적인 데이터에 의해 과거에 모델에서 변화 더 표시 하기 시작 했다 및 참조 더 창백 하기 때문에 과거 데이터 수동 농업 사회, 산업된 사회에 이제는 경우. 산업 사회의 기본적인 수학 및 물리적 특성은 통계 물리학, 실험 물리학과 우리의 과거 stochastic 프로세스. 과거에는, 제한 조건, 처리의 새로운 방법을 확립 하 대 수 시스템에서 컴퓨터에 따라 다릅니다, 그리고 수학 통계는 콘텐츠를 더 중요 한 되 고 있다. 결과적으로, 우리는 이러한 유형의 데이터를 처리 하기 위한 도구 많이 변경 되었습니다.

여기에서 통합된 분석의 많은 등장, 어제와 씨 Lurkey, 또한 논의 지금 많은 중요 한 기업, 통계 과학, 실험 물리학에서 가장 중요 한 방법, 비즈니스 모델, 읽기 분석, 사람들의 습관, 새로운 약물의 발견 되고있다. 500, 000 단어 맞춤법 솔루션, 음성, 텍스트 또는 문장 이해, 지금 500, 000, 5 백만, 50 십억 문장 그룹의 그리고 과거에 적절 한, 하지만 대규모, 새로운, 산업화 나 전에, 과거 언급 한 데이터 처리 용량을 기반으로. 새로운 데이터 과학 이론 알고리즘, 계산 방법, 그리고 새로운 검색 엔진에 새로운 과제를 제시 해야 합니다. 이것은 학계에 큰 기회입니다. 이전 파일 시스템, 데이터, 인터넷 검색의 새로운 방법으로, 시스템에 로컬에서 전체, 세부 사항에서 다른 각도에 따라 새로운 기회를가지고. 이 내용 또한 제공 문제, 낮은 밀도, 낮은 값, 하지만 데이터 품질은 여전히 영구 문제, 데이터 품질, 새로운 qulity 및 과거 데이터 처리를 해결 하는 방법 다르다.

따라서, 새로운 큰 데이터, 소프트웨어 및 데이터 처리 기능, 가장 중요 한, 뿐만 아니라의 미래를 되 다른 분야, 개발의 의미, 두 번째 도전 과학 연구 자원 및 공유 관리, 해결 하 고 지속적으로 Scarleout 모델의 새로운 요구 사항을 지원 많은 리소스에 대 한은 다른 유형의 응용 프로그램을 해결 하기 위해 공공 자원의 관리 스토리지 및 데이터를 사용 하는 방법에 많은 문제가 있다. 당신도 알다시피, 사이트의 환경 또는 어떤 환경 영향을 미칩니다 생존과 확장 시스템의 능력을.

그래서,이 능력은 하지만 영향을 우리의 일반적인 응용 프로그램, 에너지, 데이터 관리, 값은 매우 높은, 그래서 그것의 에너지 소비는 중요 한 문제가 되고있다. 가장 중요 한 질문은 여기, 다음, 자원 관리의 미래는 더 체계적인 여부 경우 단일 수직 관리 시스템, 그리고 소위 통합된 운영 체제 되고있다 지금 논쟁의 가장 중요 한 문제 이다. 데이터를 관리 하 고 좋은 리소스를 관리 하는 방법 중요 한 내용이 된다. 이 접근 솔루션 사용자가 데이터의 창조 자, 모든 종류의 서비스를 제공 하는 서비스 소프트웨어 및 모든 상상할 수 있는 또는 디지털 서비스로 제공 될 수 있기 때문에 데이터와 서비스 사업자의 출현은 인터넷에 대 한 새로운 방법을 만들 수 있습니다. 그래서 데이터 및 서비스 사업자는 통신 사업자의 모델, 콘텐츠의 중요 하 고 신속한 개발 될 것 이다. 이 모델의 출현은 우리의 인터넷에 있을 수 있습니다 다음 모바일 인터넷 개발 성과 저장 문제 처리의 개발을 해결 하기 위해 중요 한 콘텐츠를 가집니다.

세 번째 문제는 데이터 처리의 신뢰성, 클라우드 보안 모니터링, 시스템 복구, 추가의 개발과 능력의 높은 신뢰성의 통합. 이러한 문제에 대 한 그것은 해야 합니다 라고 할 기술, 보안 문제, 개발 문제의 신뢰성은 및 주요 시스템 응용 프로그램 함께, 하지만 정말 중요 한 문제 이다. 뿐만 아니라 거기 많은 쓸모 없는 데이터 이지만 개인 정보 보호 데이터는 또한 중요 하다. 따라서, 대용량 데이터의 시대에 데이터의 분포와 같아이 신속 하 게 동적 변화, 개인 소유 물, 계산할 문제, 관리 문제 및 신뢰할 수 있는 문제, 질과 함께 함께 형성 빅 데이터 시대에는 새로운 세 클래스 하 고 우리가 필요가 있을 수도 있습니다 새로운 의미 우려에 대 한 3 개의 일반적인 과학적인 질문.

나 그렇게 오랜 세월, 수십 년, 컴퓨터 소프트웨어 개발 데이터 처리 중심으로 이해 합니다. 모든 것의 탄생은 데이터 처리의 핵심입니다. 그러나, 오늘에 넘어 갔 우리의 과거 간단한 데이터를 우리가 될 상품, 소프트웨어의 80 세대를 보면 두 번째 혁명의 90 세대는 간단 하 고, 기본, 중요 한 정보 서비스. 이제는 데이터 값, 간단한 응용 프로그램 또는 정보의 축적 만드는 새로운 개발이입니다. 그래서 데이터 중심 우리에 게 기회를 줄 것 이다. 하지만 지난 IT 개발에서 약간의 시간, 하지만 기술 돌파와 새로운 응용 프로그램 캐리어 창 시간에 대 한 응용 프로그램은 매우 긴. 따라서, 이론 및 기술 혁신 및 지속 가능한 개발, 가져올 것 이다 우리에 게 기회. 그러나, 응용 프로그램 모델의 혁신은 더 중요 한, 특히 그것의 혁신 사실 사건 법률, Hadoop의 일정 확인은 간단한 프로그래밍 모델을 간결 하 고 가장 효과적인 그것을 유지 하는, 그것이 우리의 필드.

따라서,이 필드, 어린 학생, 젊은 사람들이이 분야에서 마음 행복 인클로저 되지 않았습니다, 그리고 그래서 이것이 콘텐츠, 감사를 개발 하는 대부분 기회를 만드는, 공간을 많이 있다!

(책임 편집기: 유산의 좋은)