從「大資料」到「智慧資料」

來源:互聯網
上載者:User

大部分專家都相信可以從巨量的資料中找到寶石和金子。 英國牛津大學曾對全球各行業工作者做過一份調查問卷,2/3受訪者認為,使用資料和分析軟體可以使他們保持競爭優勢。 問題是,這些「金礦挖掘者」今天如何從如此巨大的資料山裡挖到金子?

從3V到4V

等著要發掘的「金子」,指的是用於記錄、存儲和分析大量的資料,以及以合適的形式顯示該結果的「大資料」新技術。 現在最被人們廣泛討論的話題是使用者購物、搜索或網購的資料,或利用全球金融和通信網路而產生的資料。 還有銀行、電信和保險業通過建立消費者資訊與交易記錄的分析模型,來增加利潤和降低風險等等。 大資料的時代,使我們能夠探索人類的行為,探索人類本身的奧秘,這在以前在很大程度上是不可能的。 我們經常使用的工具和終端,説明我們獲得和體驗這方面的感受。

由於都想成為「掘金者」,從大資料採礦價值,目前具有深入的分析、數學、統計、規劃技能的資料分析師正炙手可熱,已沒有足夠多的人才可滿足需求。 美國大型銀行和聯邦機構正在越來越多地聘請「首席資料官」(CDO)和資料分析師,以促進對於整個組織機構中的所有功能資料的收集、分析、分發和應用的戰略思考。

大資料有所謂的3V特徵:即「大量化」(Volume)、「多樣化」(Variety)和「快速化」(Velocity)。 然而,光是大量的資料獲取是不夠的,這些資料本身還需要有較高價值,即增加第四個V:Value(價值),成為4V。 而經過「大資料」技術的處理(資料獲取、資料分析、資料處理、資料顯示等)之後更會產生較高的價值。

用智慧資料建立智慧系統

啤酒+尿布是值得挖掘的資料;而從工業設施、建築物、能源系統和醫院產生的比特和位元組,含金量更高,更值得挖掘,因為它們可以用於建立起智慧系統,這些比特和位元組就是智慧資料。 我們來談談智慧資料如何建立起一個智慧系統。

終端通過連接、把它們管道化,對人們帶來了極大的便利,大大提高了生產率。 但是這些還不夠,還需要體現「智慧化」,實現智慧系統。 現在我們經常在提到智慧手機、智慧電錶、智慧電網、智慧家居、智慧城市等等,都是希望人們使用的設備和終端能夠根據人們的需要自動程式設計,實現自動化,儘量避免人工介入。

這樣一種「智慧化」,需要具備兩個條件:首先是「管道化」(互聯網思維的核心是「管道化思維」),就是把所有的終端或節點全部連接起來,互相之間能夠有「溝通」(即發生交互作用);另一個是各個終端本身具備一個「小電腦」, 即帶有處理器晶片,可以通過軟體處理和產生「智慧資料」。 有了這兩個基本條件,就可以體現出一定程度的智慧。

以抽水馬桶為例。 抽水馬桶是已經管道化的馬桶,再加上上述第二個條件,就可以變成一個「智慧馬桶」。 具體可以這樣來實施:在馬桶裡裝有一片微處理器晶片和一片生化晶片(Lab-on-Chip,LOC),對人們的排泄物自動提取和分析,然後把分析結果通過管道,如WiFi送到醫生那裡,醫生把每天的分析資料與事先存儲的資料進行對比 ,給這位坐過這個馬桶的人發出營養指標提醒和生理指標提醒,如果必要的話則寫處方,提醒他服用藥物或到醫院進一步檢查。 另一方面,根據這個馬桶的軟體分析結果,會得出缺少哪種營養的具體資料,然後通過無線通訊的管道傳送到超市,超市會根據這些資料選出合適的食品通過快遞服務送達家中。

抽水馬桶還可以包含其他各種感應器進行「管道連接」,如每次使用自動記錄用水量;如有漏水,自動通知維修人員或物業管理處派人來檢修;如有堵塞,就會自動通知管道維修人員來疏通;如水漕不進水,也會自動通知相關人員來處理等等, 這些都會產生一定的資料量。

我們必須瞭解這些智慧資料的量,以便正確地評估它;我們必須知道各種器件和設施是如何工作的,瞭解我們需要哪些感應器和測量技術來獲得真正重要的智慧資料。 決定性的因素不一定是資料量大,而是有價值的內容。

這樣的智慧資料可以體現在各個領域。 如對於一個大型燃氣輪機,有幾百個感應器每秒鐘在測量溫度、壓力、流量、氣體組成。 如果人們很瞭解設施的物理特性,因此知道如何正確地分析這些資料,就可以給發電廠非常有用的建議,來提高電力的使用效率並減少污染。 同樣的措施可以用於風力發電、建築物、鋼鐵廠和整個城市。 所有這些領域裡,必須不僅收集資料,而且還理解資料。 處理的資料是智慧資料,得出的結論用於將企業或城市變得更智慧。

適合於評估這些智慧資料的演算法還需要開發。 這些演算法可以説明人們更好地節省能源、更好地有利於環境、更多地節省成本,以及使設備運行得更可靠。

在未來,智慧資料可以説明我們瞭解一個智慧系統每時每刻發生了什麼,更能夠告訴我們為什麼會發生。 甚至還可以告訴我們接下來會發生什麼,以及我們應該如何應對。 智慧資料將改變企業的商業模式。 例如一家跨國公司可以設立一個全球維修中心,全球各個分部的工廠都設有大量感應器並與網路相連,只需要在這個中心分析大量的遠端智慧資料,就可以進行遠端診斷和處理,而不需要技術人員到現場。 這樣的商業模式,對於火車、船舶、發電廠、醫療器械等等都是極其有用的。 例如,從一輛火車的運行中得到的測量資料,可以説明火車駕駛者運行的更平穩、更節能。 節省下來的資金,則可以在使用者和智慧資料提供者兩者分成。 這是雙贏的局面,也是如何從資料山中掘金的一個很好例子。

大資料如何成為「智慧資料」

資料只是「大」,並沒有太大意義,關鍵是如何最佳地挖掘高價值的資料、使用這些資料,使這些資料成為「智慧資料」。 這有幾個方法:先評估資料的價值和將會產生的價值;把資料和「智慧化」相關聯;把資料變成具有上下文意義的靈活的資料結構;隨著時間的推移,根據這些收集了的大量資料,展現一幅絢麗多彩的智慧資料圖。 到最後,也不會再去思考大資料與智慧資料有何區別,因為所有的資料都已經成為智慧資料。

西方2000多年前就已發明的「管道化」的馬桶開了物聯網的先河。 基於互聯網的物聯網(IoT)的到來,預示了新的創新設備、新的網路形態、新的商業模式的不斷湧現,也預示著智慧資料的成千上百倍增長,智慧化將體現在各種應用中。 如按照今天所理解的大資料概念,是不充分的,大資料必須從3V演變為4V,大資料必須演變成智慧資料,整個家庭乃至整個城市也正在向「智慧化」大步演進,才會有更多的「掘金」機會。

【作者張臣雄,在世界500強企業之一的大型高科技公司任首席科學家】

(責任編輯:mengyishan)

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.