工程院院士高文：大資料的技術趨勢與應用前景

6月5日消息，主題為「大資料大頻寬推動雲計算應用與創新」的第五屆中國雲計算大會今天在北京國家會議中心舉行，網易科技作為大會合作門戶在現場直播報導。

以下為國家自然科學基金會委員副主任、中國工程院院士高文做主題為「大資料的技術趨勢與應用前景」的演講。

高文：各位來賓，剛才聽主持人說大家都剛吃完飯不久，所以我希望下面的報告能夠説明大家消化，至少不阻礙大家消化。

我報告這個題目叫做「多媒體大資料的技術趨勢與應用前景」，這是一個命題作文，可能我要在這個命題作文下大概做一點兒私活，大概講三個問題：第一，重複一下，也許上午有人講過，也許大家在其他資料上看過的一些大的趨勢， 希望通過這個趨勢的描繪讓大家對於後面第二個問題能夠有更直接的感覺。 第二，講一下多媒體大資料，而且講多媒體大資料的具體應用案例，就是智慧城市。 第三叫結束語或者是展望。

一、關於多媒體大資料時代。

多媒體大資料時代，我相信大家都身處其中，一個最典型的感覺，大家應該知道現在整個，不管我們把它叫做雲，還是叫做大資料，總而言之資料量增加的速度非常之快，我們估計從現在到2020年整個在網上各種各樣的大資料會到40Z， 大家會比現在增加50倍。 這個資料的大，首先一個表現就是資料非常豐富，你可以把它形容成「氾濫」，當然資料多了以後，事務多是兩方面，既有可能給我們帶來很多好處，同時給我們的處理也帶來很多的麻煩。

具體包括：比如在零售行業、科學計算行業、生活方面都有各種各樣的資料，當然在這裡面的資料影響、量更大，但是有些資料影響不大、但是量也會很大，所以對現在的存儲、處理平臺帶來了極大地挑戰。

實際上我們的生活、我們的工作都要被大資料所改變：

1、資料產生方式現在已經被極大地改變，因為以前資料的生產都是由專業團體、專業人士，或者是專業公司完成的，現在資料更多產生是個體行為、是個人，每個人都可以使用他所採集的終端，不管是拍的照片、錄的錄像，或者是通過他的手機、 電腦產生大量的資料，所以資料產生方式發生了非常大的變革。

2、資料傳統途徑也發生了很大的變革，以前我們獲取資訊的來源基本上要麼是平面媒體，看報紙；要麼像我們所說的傳播媒體，比如說電視、廣播等等這些東西，現在，特別是年輕人資訊來源是通過互聯網，互聯網已經變成了媒體傳播的主要途徑， 這個改變對我們整個社會也產生了非常大的改變。 大家也知道馬雲，從他董事長下來的那段錄影在非常短的時間內就被看了上百萬次，所以我覺得這是非常了不起的一件事情，這件事情也告訴我們，今後做任何事情想著資訊，或者是輿論傳播的主要途徑相當於是通過互聯網媒體。

3、社交環境網路化變革，以前大家交朋友更多是你生活的圈子，比如說同學、鄰居、親戚，現在更多的通過是互聯網這種虛擬的環境。

4、資料存儲習慣變革發生的變化，以前都是希望自己保存一份拷貝，不管是照片、不管是你的檔，都是希望一定要存在自己的電腦上，或者要刻到自己的軟碟上，把它放到書架裡，現在這種觀念已經改變掉，當然除非你是搞一些保密工作， 或者是年紀大一點比較習慣是另當別論，大多數人就把它丟調網上，在雲中進行存儲。

5、社會安保系統變革，現在還沒有真正實現，實現之後會對我們的生活有非常大的變化。 我會面會花更多時間談的一個問題，現在整個社會安保，整個城市里面已經有很多的感應器、攝像頭等等，通過它們可以使得社會變得更加安定，或者說發生案件會快速破案，這個系統對現在的安保系統會帶來非常大的衝擊。 比如說我們經常舉例的，包括原來的周克華的破案，就是監控系統做了相當多的貢獻，當然這個貢獻最終是靠人解決的問題，當時為了找到周克華一張比較清晰、正面的照片，或者是發現他的一些個人特點， 曾經有兩千多個員警花上月的時間在反復的看那些錄影，最後找出一些照片供破案，或者是抓逃用。 當然也有不成功的案例，比如說今年春天3月份在長春有人偷了一輛轎車，車上有小孩，最後把小孩殺掉，這是作案人最後投案找到的線索。 今年前一段時間波士頓馬拉松爆炸案也是在比較短的時間就破案了，這個破案其實也是美國的員警集中了很多員警把整個能拿得到的錄影資料反復看，差不多每一段視頻都被看了400遍以上，最後在裡面找到一些清晰的照片説明追逃。

這些案例告訴我們大資料時代已經來了，當然在大資料裡面我們需要知道什麼東西的量最大，這個曲線大家能夠看到，我們2012年圖像和視頻資料已經占到80%多，今年圖像和視頻資料在整個大資料的比例已經要接近90%，這樣一個比例， 在真正的大資料裡面你的核心挑戰到底是什麼，當然資料大了以後怎麼處理、怎麼挖掘裡面的一些有價值的規律，是我們首先要做的。 最大的資料要怎麼處理，實際上是最大的一個挑戰。

所以說我們多媒體大資料，特別和圖像、視頻有關傳輸、存儲、處理、應用是四個問題。 為什麼有效存儲這個問題很難，實際上現在街上按的攝像頭所拍下來的東西不會永遠保存，有的會存三個月，有的會存一個月，有的還會存一個星期就會覆蓋掉，這個資料就永遠丟失的，為什麼會這樣呢？ 因為存不起，這個費用太高。 怎麼有效保存對於大資料是一個很大的難題。 怎麼樣處理，大家都以為這個問題很簡單，有各種各樣的智慧處理系統、圖像分析系統，實際上那些都是再研究或者是做演示，像城市大規模系統還是比較少。

第二，關於智慧城市中的多媒體大資料的挑戰。 到底是什麼挑戰呢？ 因為智慧城市本身，這個概念是一個非常好的概念，所謂智慧城市也是一種生態系統，這個生態系統裡面為了達到，比如說這個城市的平安、健康、適宜居住、交通方便等等，所以你需要去構建一個完整的資訊系統， 這個資訊系統實際上是包括視頻傳感、物聯網系統和網路、和整個決策系統構造成一個完整的系統，這個系統才叫智慧城市。 在這個系統裡面有很多子系統，包括有視覺化的治安防控系統、應急聯動子系統、數位化城市管理系統等等，比如像治安防空系統可以通過各個卡口、電子員警、一些監控、技術防範等等子系統實現治安防控。 對於應急聯動，對於自然災害、公共事務等發現以後能夠啟動應急聯動的功能。 城市管理就包括現在我們經常說的汽車定位、地理資訊、身份驗證、物品識別、數位通信等等，把這些系統連接在一起是一個完整的資訊系統。 這個系統的監控很關鍵，當然不是視頻、攝像頭，裡面包括各種各樣的感應器，視頻是比較主要的一些感應器，這些感應器分佈在城市的各個角落，在各個角落的獲取的各個資訊是通過一個網路把這些資訊能夠進行傳輸，當然這些傳輸， 網路是分各種各樣的一組一組的，這裡面和居住有關、和辦公有關、和交通有關的等等。 這些一些群體的資料通過這個網路就會構造成一個所謂的感知網，如果你以攝像頭為主就是視覺感知網，這個視覺感知網會被送智慧分析中心，最後對整個智慧城市進行決策。 這個決策裡面有兩個非常大的難題：

1、存不下，剛才已經說過，資料最多存三個月，有的可能一個月、一個星期就被覆蓋掉，資料永遠被清除掉，這是很可惜的事。

2、找不快，如果發生一件事希望系統快速找出來反而找不快。

首先我們看存一下這個問題，因為現在資料來源源不斷的產生，源源不斷的往系統裡面灌，系統的存儲除非你很有錢，不停的增加存放裝置，但是現在沒有說哪個人不斷的增加存放裝置，一個預算完了存儲一段時間就算了， 或者把裡面的資訊摘取出來放在另外的地方。 這裡面大家很容易想得到，如果有一個非常好的高效的存儲技術，或者把原來的圖像和視頻編碼壓縮可以節省存儲空間，原來能存三個月，如果能把它的壓縮效率提高一倍就可以存六個月，或者把原來的系統開銷減掉一半。 這件事在技術領域已經做了三十多年，大概從90年代初有人提出來，剛開始不是為了視頻監控做的，而是為廣播電視、數位電視做的，比如第一代的編碼標準，早些時候大家用的VCD、DVC的標準， 做了一段時間大家覺得壓縮不夠又開始做第二代，覺得還不夠就開始做第三代，現在系統大量使用的是H.264，我們叫做第二代的標準技術，現在正在做第三代的一些東西。

第三代、第二代、第一代的編碼效果有多高呢，第一代的編碼標準能夠把原來的視頻資料壓縮到1/75，第二代比第一代效率增加了一倍，能夠把原來的視訊壓縮到1/150，現在正在做的第三代大概能把資料壓縮到1/300，大概是這樣， 取下來的視訊壓縮完之後存儲在那裡，如果有辦法找到一個編碼壓縮技術就可以提高它的編碼效率。 為什麼有150：1、300：1，甚至未來修600：1的壓縮能力呢，因為我們拍視頻的時候裡面有很多的冗余，只要你有很好的演算法把這個冗余去除掉，所以擰毛巾就是做視訊壓縮要做的，為什麼可以這樣呢？ 因為冗余裡面有各種各樣的，比如說同樣的東西每一楨被拍了很多遍，如果每一楨都重新表達出來肯定很浪費，能不能把後來拷的都一樣拷過來就可以了。 還有一種叫編碼冗余，實際從理論可以分析出來，現在的演算法離真正的理論上限還差很遠，只是找不到更好的演算法逼近那個理論上限，所以現在有成千上萬的工程師和科學家找高效編碼的演算法，希望一點點進行改進。 所以我們還有很多的空間。 基本大的框架就是這個這張圖給的框架。 籠統說，採用包括正交變換、運動預測、商編發等等使編碼效率一點點的提高。

AVS視頻標準的框架也是大的思路上，都是大同小異的，全世界幾大不同的技術集團採用的思路都是比較相近的，為什麼中國要做這件事？ 除了提高效率問題以外，還有另外一些原因，專利、智慧財產權等原因，為了讓中國自己的企業，或者說中國的企業向海外發展的時間，不受欺負，所以中國要有一套這樣的東西，這套東西還是從純粹的技術、效果等等角度考慮問題。

在中國做了一段時間以後，在中國做不一定都是中國人，當然AVS都是國外企業，國際上比較知名的大的合作視頻編碼有關的企業都有派代表加入到AVS工作團組，最近做出了一個東西變成了IEEE的標準的，叫做IEEE 1857的標準， 面向互聯網視頻編解碼的群體，這個群體在2012年2月份正式成立起來，經過一個很完整的流程，第一個視頻編碼標準昨天已經剛剛印刷，今年3月份批准，經過三個月的準備時間昨天剛剛印刷完成。 IEEE 1857整個處理流程，從去年2月份成立以後，4月份第一次會議大概到今年3月15日開了7次會議，最後把文本全部完成。

這個文本裡，整個的編輯經歷了非常漫長的過程，因此做一個標準技術很行以外，處理流程也要按部就班要往返很多次，現在這個IEEE  1857的標準裡面有各種各樣面向不同應用的部分，我們叫profile或者叫group， 它和別的標準不一樣的，或者是有特色的地方，就是IEEE 1857對監控視頻有特別的支援。

什麼樣特別的支援？ 是第一次把背景建模技術加到整個處理流程，加到環路裡面，這是非常不容易的一件事，這張圖可以看出，當你沒有進行背景建模你的處理效率沒那麼高，隨著你的建模越來越好，你的編碼效率會越高。 所以下面這條藍色線，它實際整個效率，就是你的碼率越高效率越高，比如說現在給你2兆的頻寬，同樣的品質的東西你會占的頻寬為什麼低，所以效率越來越高，這是一個非常好的想法。 這件事，背景建模怎麼做出來的？ 這是非常直觀的一張圖，當給你一個視頻，你要看這個食品區編還是非常複雜的，通過一個映射變化另外一個空間上，你會發現橫的幾乎都是一樣的，只是有人、有車動的地方稍微有點點變化，我們根據這個變化建出來一個背景模， 用它來提高編碼效率，如果從技術的角度來看，我們有一些物件，我可以把這個物件建模，把原來沒有和有的做插分，最後就找到一個非常乾淨的背景，上面全都是一些非背景的東西，根據這些東西我就知道哪些新進來的，哪些是新的， 通過就使編碼的效率變成非常高，這也包括各種各樣不同的天氣條件、時間、霧天、雨天都可以進行相應的建模，模型通過參數的變化覆蓋住，就是有很容易把物件檢測出來了，檢測出來我們後面的分析就會非常有説明。 而且模型可以不停的進行更新。 這個標準昨天已經出版了。 當然這個版本，一個版本完了，後面還有各個部門在按部就班的做，這個標準比現有的同類標準編碼效率提高一倍。 這是關於存不下。

找不快，到現在為止分析和編碼是分開做的，分開來做因為是完全林個不同的體系，如果你從技術上來講無可厚非，但是分開來做有一個最大的問題，在編碼的時候不能分析，在分析的時候就不能編碼，一般是先編碼從採集端送回到局端以後進行分析 ，分析再把它解開進行分析，這樣就把自己的寶貴時間丟掉了。 這還是最重要的問題，你為了追求編碼效率可能會損失到你的識別率，我們舉一個例子：當然IEEE 1857可以很好的解決這個問題，比如說紅框是感興趣的，檢測出來立刻在描述文本裡面這個描述出來，在後面就可以啟動，包括物件的檢測、 物件的跟蹤、行為的分析、行為的跟蹤，一個完整的環就可以流出來，而且可以包括GPS的資訊都含進去。 物件檢測出來，人臉怎麼辦，實際上現在有技術可以把這個找得到。

具體的做法，左邊有一個錄影，有人在那兒走來走去，這一段視頻裡面到底哪一張人臉最好，我不知道現在是不知道，現在是電腦來幹這件事，我們可以一個模型，模型裡面有6個主要的參數，通過這6個參數就包括，我看它的解析度、亮度、姿態 、清晰度、雜訊水準、灰度級，把這6個參數綜合起來就可以找到一個最清晰的人臉圖像。 當然同樣的想法可以檢測車、檢測人等等。

為了做這件事，今年要組織一個全國的研究生智慧城市比賽，現在正在組織，由教育部學位研究中心、智慧城市產業聯盟、中國科協等等，秘書處現在設在北航，現在已經有一些具體方案。

作為結束語，大資料本身這件事，不管你是否同意它已經來的，而且在大資料圖像和視頻的資料量又特別大，在圖像和視頻裡面怎麼使存得下和找得快，這是兩個非常大的技術挑戰，我們應該在這兩個技術挑戰方面努力下一些功夫， 使得大資料不要對它沒有辦法，能夠有辦法去處理它，把它作為智慧城市大資料的一個最好的應用場景來進行對待，也希望過幾年這個會上有更好類似的成果展示給大家。 謝謝！

(責任編輯：蒙遺善)