大資料引擎：挖掘冰山下的金礦

現在隨著移動互聯網、物聯網的發展，資料無時不刻不在產生。 包括個人使用者的手機、可穿戴設備等；也包括行業應用的感應器、監控攝像頭等資訊。 數位化將物理世界的類比資訊轉化為數位資訊，數位世界與現實世界的融合過程中產生和積累了大量的資料。 全球所有資訊資料中90%產生于過去兩年。 2013年每天全球產生25PB資料，相當於1500個國家圖書館資訊量的總和。 全球的資料總量從2003年的5EB，快速增長到2012年2.7ZB，並將于2020年達到40ZB。 這些資料往往被人們比作海上漂浮著的冰山，因其巨大的價值隱藏在水面以下。

如陳尚義在大會上所講，任何資料的產生都有其最初的目的，這就是它們的第一價值，當這些資料迅速積累起來，它們將能產生第二、第三價值。 這背後就需要有效的技術來發現、挖掘。 比如網上相冊，其第一價值在於為線民提供存儲服務。 照片多起來後，我們就可以從中發現當時的流行色，甚至可以預測以後的流行趨勢。 再例如，可穿戴設備可以24小時監控我們的身體，它的第一價值是記錄自己的身體狀況，用句時髦的話說，就是「量化自我」。 但如果能將一段較長時間的資料綜合分析，我們可能發現健康的情況，並為我們提供預警。

大資料的兩個重要特點：資料量大，增速快。 根據麥肯錫的報告，到2020年醫療資料將急劇增長到35ZB，相當於2009年資料量的99倍。 根據交通部的資料，某省高速公路視頻監控資料每天50T。 這些資料的產生也有其第一價值。 如醫療資料是為了患者就診，視頻監控資料是為了事後的追溯。 當他們的第一價值被利用之後，這些資料一般就被束之高閣。 逐漸，這些資料成為了行業的負擔。 但事實上，這些資料仍然有寶貴的價值。 如何發現這資料隱藏的價值，成為了行業的難題之一。

在面對自己的資料冰山中的價值，各行業對資料價值的挖掘做出了一些實際行動。 陳尚義在演講中總結出企業實踐中存在的一些誤區。 許多傳統行業仍然局限在小資料的開發和利用，將小資料當成大資料，未涉及全面、完整和系統的大資料本質。 將傳統的資料處理手段和技術當成大資料技術，未有大資料時代帶來的新特徵。 這時候，傳統行業需要看清大資料的特點，開發新的工具和新的平臺，滿足資料規模大、結構複雜和高速膨脹的需求。 所以，傳統行業亟需大資料技術和能力挖掘行業資料的新價值。

百度是如何挖掘其資料冰山下的價值金礦呢？ 陳尚義舉了幾個很有趣的例子。 作為搜尋引擎起家的百度，將人與資訊連接起來，天然就是一個大資料公司。 首先作為搜尋引擎，百度需要收集互聯網上的資料。 為了方便人們檢索資訊而被存儲下來的大量文本、圖片、影音等不同結構的資料。 像以前我們搜索某個關鍵字，結果出來的都是一個個單調的連結。 想要查相關視頻，還得另外搜索。 現在，百度利用自己的資料採礦及人工智慧技術將這些不同類型的網路資料關聯起來，於是產生了一種叫「知識圖譜」的結果。 比如現在用百度搜索「中國好聲音」，結果出現的不僅僅是對這個節目的描述，還有歌手、歌曲、類似節目等結果。 同樣的一次搜索，帶來的卻是各種形式的資訊展示，這讓筆者眼前一亮。

同時，使用者的搜索行為也會留下資訊，百度再將它們進行大資料的關聯分析，為人群畫像，發現人群的興趣點、特徵等新的資訊，反過來又可以從上千萬條推廣中為我們線民找到最相關的資訊。 這就是百度司南。 它使得廣告投放結果與使用者搜索關鍵字之間具有相關性，廣告投放商在百度投放的廣告更有效。 對於未來，百度還利用自己的人工智慧技術推出了百度預測，有旅遊城市、景點熱度的預測，還有高考專業、院校的預測等。 筆者在網站上看到了百度的世界盃預測結果——巴西奪冠，讓我們拭目以待吧。

百度利用技術掀起了冰山，挖掘出了大資料資源中的金礦。 最後陳尚義講，如今，大資料的發展已經進入到全新的資料採礦階段。 百度將這些大資料技術打包成為「百度大資料引擎」，開放為給行業社會。 説明傳統行業根據大資料的特點，利用大資料引擎的平臺，挖掘行業資料的新價值，助力產業升級。