델라웨어 교수가 오 Guangrong: 큰 데이터 핵심 기술

"Csdn 라이브 보고서" 2014 년 12 월 12-14, 후원에 의해는 중국 컴퓨터 학회 (CCF), CCF 큰 데이터 전문가 위원회 계약자, 중국 과학 아카데미 및 CSDN 공동 공동 조직 2014 중국 데이터 기술 회의 (큰의 메인 테마로 큰 데이터 연구, 응용 프로그램 및 산업 개발을 촉진 하 데이터 기술 컨퍼런스 2014, 2014 BDTC)와 CCF 그랜드 심포지엄의 두 번째 세션 크라운 프라 자 호텔, 새로운 운 남, 베이징에서 열렸다.

2014 첫 날 회의가 중국 큰 데이터 기술 컨퍼런스, 전자 및 컴퓨터 공학, 델라웨어, 설립자 및 컴퓨터 시스템 아키텍처 및 병렬 시스템 연구실이 오 Guangrong, 감독의 대학의 연설 "대용량 데이터 시스템의 핵심 기술을"를 가져왔다. 가 오 Guangrong는 주로 큰 데이터 시스템, 대용량 데이터 시스템의 핵심 기술, 데이터 흐름의 혁신 및 큰 데이터 엔진, 그리고 기회와 중국에서 큰 데이터 시스템의 개발의도 전에 직면 한 심각한 과제를 소개 합니다.

대학, 전자 및 컴퓨터 공학, 델라웨어, 설립자의 교수 및 컴퓨터 시스템 아키텍처 및 병렬 시스템 실험실이 오 Guangrong

다음은 연설의 사본입니다.

오늘 우리가 들었어요 리포트, 가장 높은 지점에 큰 데이터, 여전히 오랜 시간 방문 하는 진짜 거리의 많은. 난 그냥 내 최근 일부 요약 작업을 만들고 싶어 하 고 내 역사 나 기능, 광고의 많은 없어 하지만 거기는 설명 하기 위해 나를 위해 아마 하나 또는 두 개의 슬라이드. 내 음성은 두 가지 측면: 첫 번째 큰 데이터과 사이클의 최신 전망, 그리고 두 번째 클라우드 큰 데이터를 결합 하는 방법을 컴퓨팅. 이 큰 데이터 수 없는 하늘에서가, 그것은 그것을 자르면 갑자기 내가 과거에 무슨 짓을 했는지에 대해 뭔가 할 수 있는 방법을 말 하, 그것은 이해할 수 있다, 하지만 반드시 현실적인 하지, 다른 방법으로 그것을 할 수 있습니다. 이 경우에, 우리 말 실시간 대용량 데이터, 높은-성능 컴퓨팅 다양 한 요구, 높은-성능 기술에 우리의 일 때문에 중국에 (서) 특히 이러한 축적은 모두에 게 분명 한 장기 축적을 잊지 말아야 합니다. 창사 기계는 여전히 세계 최고의 중 하나, 우리가이 지역에 있는 국경, 난 오늘, 여기 양 Xuezhi을 표시 되지 않았다 이지만 다른 여러 동료를 보고는, 큰 데이터는 실제로 두 가지, HPC 및 대용량 데이터의 관계를 말 하. 큰 데이터 실제로 가장 높은 대 광고 콘텐츠를 초과, 다음 단계 착륙 단계로 점차 이어야 하며 안정적인 개발이 있다. 그것은 두 가지 말을 계속, 하나는 그냥 내가 말한과 대 주기 큰 데이터, 관심은 비정상적으로 큰 데이터 기대와 비정상적된 기대의 reak, 우리가 너무 작고 너무 많은 경험을 말. 나는 친구에 있는 심천 말했다 빅 데이터 지식 마이닝 이며, 그에 게 가장 중요 한 돈을 발굴, 우리 수 이러한 모든 기술은 마침내 진짜 효과, 우리는 몇 가지 예제이 하나 되. 그는 또한 조언의 세 번째 조각이 있다 그리고 세 번째 작은 회사와 일을 잊지 못할 것 이다. CIO, CTO의 큰 기업에 대 한 그의 계획 안은이 세 가지는 좋은 요약 생각, 그래서는 현재과 대 주기이 방향.

두 왼쪽 현재 도전 설명 하는, 엔진에 혁신을 혁명 하지 말 또는 나 보다 조금 더 강한은 혁명을 보고, 복구를 서둘러, a 보다는 보다 더 할 수 있는 후 나, 또는 그 보다 조금 더 나은 혁명적인 혁신을 할 수 전체로 서 국가. 컴퓨터의 역사에 대해 얘기 하지 마세요, 난 그냥 역사의 다른 영역에 대해 얘기 하 고 싶지. 100 년 이상 전에, 비행기에 대 한 문제는 항공기 엔진 차에는 엔진의 우리의 개념을 적용할 수 있습니다 여부, 할 필요이 일의 개념을 혁명을 수 있습니다 할 수 없습니다, 또는 내가이 비행기를 할 필요가 없습니다 그리고 찾은 새로운 모델,이 모델은이 비행 역학 공간적 역학 모델을 지상 역학 모델에서 우리가 정말이 모델 다리 날개 그리고 구조 변화에서에서 새로운 구조를 만들고 그래서 자동차 엔진을 혁명을 하지이 엔진을 구축할 수 있습니다. 100 년 이상 전에 그 역사는 모델에서 구조, 그리고 우리의 컴퓨터의 개발은 실제로 새로운 계산 모델, 실행의 모델 그리고이 구조체의 개발은 컴퓨터의 역사에서와 같이. 내가 생각 하는 우리는 우리의 사람들 및 사람들에 게는 시스템의 구조에 큰 데이터는 어디에이 모델은? 다음에 구조적 영향.

기준으로이 우리 엔진 코어 구조의 진화에 대해 이야기를 시작할 수 있습니다. 난 큰 데이터 엔진 3 분석 기술이 있다. 하나는 모델 및 구조 실행의 기술입니다. 두 번째 시스템 소프트웨어 기술입니다. 세 번째는 엔진 프로그래밍 모델 및 최적화 기술, 고통 스러운 경험과 깊은 수업, 개발의 이러한 세 방향이 세 가지 보완 및 필수, 할 호남 사람들이이 그룹에 있 었,이 위의 큰 데이터 엔진에서 세는 또한 매우 중요 하다. 내 주요 초점은 오늘 실행 모델, 모델의 정의 수행 하는 API 라는 모델 API 실행 하 고 그것은 당신이 필요로 하는 목표를 달성할 수 있도록 모델의 정의 간의 원활한 연결 개발 다음 이다. 이에 최신 보기는 실행 모델 뿐만 아니라 Api의이 계층에 영향을 미치는, 그것은 또한 다른 계층 간의 관계에 영향을 줍니다. 이 일은 매우 중요 한, 그래서 어떤 실행 모델은? 예를 들어 1948 정리, 실행 모델 라이브 너무 많은 년, 모든 우리의 인터페이스, 하드웨어의 소프트웨어 측면에서 문자열 작업 인터페이스 모두 오랫동안, 우리는 병렬 작업 및 병렬 시스템 실행 모델, 불행히도 오늘 아직도 실패에서 성공적인 경험의 전체 필드를 사용 하 여 노력 하 고 있습니다. 그것의 데이터 뿐만 아니라 프로그램 자체 생성 프로그램 자체의이 정보를 정적 결정을 결정 하지만 동적 데이터, 동적 데이터 라고 해야는? 모든 센서에서 데이터 예:입니다. 수학적 모델에 문제를 넣어 고 당신이 고려 하는 임의의 거래의 큰 숫자, 실행 모델 데이터를 그것을 모두 이러한 데이터 시스템 완벽 하 게 통합 할 수 있도록 프로그램. 이 지난해 없이 데이터 흐름, 튜브 내부 데이터의 실행 모델은 저항 또는 저항 하지, 없는 상상력은 저항의 온도,이 종속 관계는 표현할 수 없습니다. 원래 1970,1971 년, 1972, 1980는 입증이 다시 테스트할 필요가 실행 모델 일관 된 무결성. 나는이 일, 잊지 수 없습니다 그리고 그것은 우리를 다루는 대규모에 역사적 경험에 대 한 매우 중요 한 의미 한다.

혁신 이란 무엇입니까? 혁신 의미 인간의 축적 지식 잊지 마세요, 새로운 환경에 어떻게 적응 그것 실행 모델에이 혁신의 중요 한 부분입니다. 우리는 많은 모순의 분야에서 컴퓨터 시스템, 우리는 종종 매우 쉽게 과거, 아니 의도 너무 많이, 쫓 고, 매년 잊지 다음 해, 나 빨리 쫓아,이 이번.

아래 실행 모델, 오차의 구현에서에서 설명 하는 애니메이션 사용 어디? 이 오해는 오해 하는 운영 체제의 역할, 선생님은 하나의 운영 체제의 시작은, 그는 가장 큰 상금 작년, 그 두 기여 원, 데이터 흐름은 두 번째, 첫 번째 기여 할 그의 운영 체제는. 이 애니메이션은 Mechine 런타임 Syelem입니다. 이것은 런타임 Syelem, 이것은 그것을 달성 하기 위해 기계 모델을 많이, 하드웨어 및 실행 모델 거기 항상 몇 장이 될 것입니다. 예를 들어 실행 모델, 하지만 하드웨어, 그것의 교육 시스템에 대 한 작업을 원하는 또는 시스템 구조 직접 피드백, 다음 당신이 소프트웨어의 레이어를 해야 할 그 작업은 구멍을 채우기 위해. 소프트웨어의이 계층은 관련이 없습니다 운영 체제, 운영 체제 소프트웨어를 실행 하 게 하는 가장 큰 실수. 최근 3 년, 미국 주요 연구에 관심을 지불 하는 경우는 강조 런타임 Syelem 및 OS 관계, 런타임 Syelem는 실행 모델 및 운영 체제 관계. 아니 운영 체제, 그러나 그것의 임무는 런타임 사용 하는.

시스템 소프트웨어는 높은-성능 높은 확장성, 낮은 에너지 소비, 공간의 근본적인도 전에 직면 하는 유연성을 지 원하는 운영 체제 컨트롤의 통합을 중단 하는 기존의 운영 체제 컨트롤을 깨는 병렬 멀티 코어. 세 번째 항목은이 시스템 구조는, 확실히 프로그래밍 모델 및 최적화 기법, 정적 최적화 방법, 우리의 프로그래밍 모델에서에서 현재 최적화 기술 집중을 강조 하 고 싶습니다만 있고 모두 최적화 기술 가정, 모든 할 칩을 사용 해야 합니다, 최적화는 또한이 하고있다. 몇 가지 작업을 할 내 자신의 실행 모델을 포함 하 여 하드웨어 칩을 가정 하지만 매우 작은 규모는, 지금 가장 중요 한 것은 동적 스케줄링, 동시 런타임 여기에 여러 관리. 교수 리 Yonghui의 연설이 아침, 그는 명확 하 게 그것을 들 었 첫 번째는. 동적 가상화에 전반적인 계획, 이것은 실제로 동일한 일, 조정이, 그들의 자신의 모니터 자체 프로그램을 기반으로 하므로 되도록 모니터링, 인터넷 잘 세분화에서도.

여기에 우리의 작업, 4 예에서는 첫 번째 예에서는 기본 배경 동적 세분화 된 다중 스레드 엔진 핵심 기술에 대 한 데이터 스트림을 설정의 몇 가지 예입니다. 두 번째 슈퍼 컴퓨터, 다중 스레딩 시스템의 정도 흡수 하는 함정을 가정 소프트웨어 전반적인 설계 및 프로젝트 구현, 성공적으로 세계에서 사용 최고의 문장 패턴 컴퓨터 (NE 총 투자 30 백만 usd 이상 2004-2011)의 핵 칩 기술의 사용. 셋째, 연구와 울트라 병렬 실행 모델의 개발. 큰 모델 데이터 흐름의 배경에 엔진 실행 모델의 중요 한 연구 주제. 하이퍼-병렬 엔진을 개발 하 고 데이터 스트림을 기반 런타임 가정. 시스템 소프트웨어의 주요 개발에 연구입니다.

다음 예비 그림 불꽃은 불꽃, 비교 결과 중국, 테스트는이 HT 데이터 스트림 기술, 완전히 사용 하는, 하지만 그 생각은 데이터 흐름의 생각 하는 데 사용 됩니다. 각 테스트에 위치 5 세트의 데이터는 볼 수 있습니다 그것의 이점 있다 불꽃 비율에서 자주 사용 되는 데이터의 서로 다른 그룹의 수에 볼 수 있습니다 분명 하다, 당신은 왜 질문 하 고 싶다면 나는 또한 여기에 게 수 있을 것입니다. 뿐만 아니라, 스토리지의 양을 실제로 보다 작으면 불꽃, 작은 5 ~ 10 배 번.

라는 그의 산 돌 옥, 공격 수 기회와도 전에 중국에서 우리의 고속 열차 처럼 고속 철도 아니 내 하 고, 유럽, 일본 마에에서 고속 철도, 다른 사람이 할 좋은 일 들이 우리에서 배울 수 있지만 그것의 개발을 교차 해야 합니다, 여기 중국어를 만드는 중국에서 밖으로 연결 하는 빨간색 펜을 사용.

더를 강조 표시 하십시오 2014 중국 큰 데이터 기술 의회 (BDTC), 시 나 Weibo @csdn 클라우드 컴퓨팅, 구독할 CSDN 큰 데이터 마이크로-신호 라이브 주제에 관심을 지불 합니다.