資料量爆發式增長 物聯網引入大資料技術迫在眉睫

來源:互聯網
上載者:User

根據IDC公佈的資料,2005年由M2M產生的資料占全世界資料總量的11%,預計到2020年這一數值將增加到42%。 這一比例表明,物聯網快速發展的同時也製造了海量資料,如何妥善處理及合理利用這些海量資料是物聯網下一步發展的關鍵。 」在近日由中國電子學會召開的2013(第四屆)中國物聯網大會上,中國工程院院士鄔賀銓強烈呼籲。

然而,無論是大資料,還是物聯網,在我國都處於起步階段,至於兩者的交叉領域目前人們更是涉及甚少,而物聯網所產生資料本身的複雜性,更是進一步加大了物聯網領域大資料落地的難度。

幾何級數增長

形象地講,物聯網是物體對外界進行感知並做出反應的過程,在這一過程中,無論是感知外界還是做出反應,都涉及資料的產生和處理。 尤其是在某些領域,比如安防、移動醫療、智慧交通,更是由於應用的特殊性而會產生海量資料。

以安防為例,為了有效發現異常情況,系統需要對所監控的區域進行7×24小時監控,這就會產生海量的視頻資料,出於事後追蹤的考慮,這些資料往往需要保存一段時間,此外,系統還需要對不同時刻的資料進行對比分析, 以便能夠在異常情況發生時做出及時反應。 而在移動醫療領域,為了實現不同地點之間醫生資源的共用,統一標準的病情診斷不可或缺,因此很多醫院都主張對患者進行CT檢查,而一個病人的CT往往會達到幾十個GB,按照每年我國住院病人多達兩億人次, 以及患者的資料通常需要保留50年以上的規定,由移動醫療產生的資料量也相當可觀。

使得情況進一步嚴峻的是,在ITU等看來,物聯網所需要分析的資料,不僅僅是感應器收集到的資料,還應該包括虛擬物件所產生的資料,因為只有將物聯網資料放在虛擬網路產生的資料的大背景下,才能挖掘出更大的資料價值,目前來看, 這些資料主要來自社交網路、政務網站。 而鄔賀銓表示,Teitter網站每天增加2億條微博,Facebook上每天上載2.5億張照片,到2015年,大概1個人要用5年時間才能看完互聯網上一秒鐘所傳的所有視頻,由此可見互聯網上資料量之龐大。

儘管資料呈現海量增長態勢,資料的處理能力卻沒有同步增長。 「全球新產生的資料每年增長40%,全球資訊總量兩年就可以翻番,而對新增資料的處理能力以及利用率的增長則不足5%。 」鄔賀銓表示。 因此,加快引入大資料技術以推進物聯網發展已經迫在眉睫。

物聯網大資料存特殊性

物聯網運營者也認識到了大資料運用的重要性。 中國電信股份有限公司上海研究院院長李安民表示:「根據實際經驗,的確在很多應用中,物聯網不僅僅是單一的物聯網技術,還涉及對大資料、雲計算等技術的有效融合。 物聯網的普及將城市引入大資料時代,我們需要關注大資料的應用需求,從技術、業務、商業模式等方面提前做好應對。 」

不過,大資料的在物聯網的應用並非那麼簡單。 這首先是由物聯網資料的特點決定的。

鄔賀銓認為,物聯網產生的大資料與一般的大資料有不同的特點。 物聯網的資料是異構的、多樣性的、有雜訊的,其增長率非常高,從而增加了資料處理分析的難度。 此外,物聯網的資料有明顯的顆粒性,其資料通常帶有時間、位置、環境和行為等資訊,物聯網資料也是社交資料,但這又不是人與人的交往資訊,而是物與物、物與人的社會合作資訊。 因此,物聯網的混搭使得只有將物聯網的資料與通過社交媒體所獲得的資料以及政府發佈的資訊相結合,才能方便系統做出更科學的決策。

拋開物聯網領域的特殊性,大資料產業自身發展也存在一些障礙。 雖然近年來大資料概念火熱,然而大資料的發展呈現出了不平衡性,一方面是技術發展較快,另一方面如何從大資料中獲取價值,現在仍在討論階段。 尤其是電信運營商,雖然也認識到了大資料的價格,但是對於自身在大資料產業中的定位,以及大資料的商業模式,現在還沒有形成清晰統一的認識。 這一狀況制約了大資料的發展,從而也影響了大資料在物聯網領域的應用。

大資料和物聯網可相互推動

考慮到大資料在物聯網領域應用的緊迫性和相對落後的狀況,鄔賀銓認為加快引入大資料已經刻不容緩。 針對海量資料的特點,鄔賀銓認為,雖然資料資源非常重要,但是許多資料是複雜冗余的資訊,比如在視頻監控中,人們需要關注的是視頻資訊中的異常事件,而不是常規的、沒有變化的資料,因此要兼顧分析歷史資料和新的資料, 壓縮掉那些重複的資料,重點保存分析異常的突發資料。

顆粒化、非結構化資料也是物聯網中大資料的一大特點。 儘管這種特性的資料處理起來非常複雜,然而它們對系統作出正確的決策至關重要,因此解析非結構資訊是不可忽視的重要環節。 此外,還可以通過統一物聯網架構設計,將非結構化的資料變得結構化,將不同系統之間不同結構的資料盡可能地統一。

不同部門之間資料資訊的共用有助於物聯網發揮更大的價值,因此鄔賀銓認為,雖然目前看來將電力、交通、工業等不同行業合為一個物聯網不大可能,但是將不同行業的資料資訊進行共用還是可行的。

而對於大資料商業化進度相對滯後的問題,有專家認為,一方面物聯網的發展需要業界加快對大資料應用模式和商業模式的研究,另一方面物聯網的應用也有助於明晰大資料的商業模式,為大資料發展提供契機。

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.