一篇文章為你解讀大資料的現在和未來

標籤：大資料   資料分析   社交   海量資料   雲端儲存   

大資料的發展前提

　

　關於大資料的概念其實在1998年已經就有人提出了，但是到了現在才開始有所發展，這些其實都是和當下移動互連網的快速發展分不開的，移動互連網的高速發展，為大資料的產生提供了更多的產生大資料的硬體前提，比如說智能手機，智能硬體，車連網，pda等資料的產生終端。這些智能通過移動通訊技術和人們的生活緊密的結合在一起，在人流、車流的背後產生了資訊流，也就產生了大量的資料。

　

　其次就是移動通訊技術的快速發展，在2G時代，無線網速慢，資料產生也非常慢，資料體量也不夠，所以還是無法形成大資料，而到了4G時代，終端資料的增加，使得任何的移動終端都在無時無刻的產生著大量的資料，這個也是大資料到來的一個條件之一。

　

　第三個方面的就是大資料相關技術的飛速發展，如雲端運算，雲端儲存技術，他們的快速發展，是大資料誕生的溫床，如果沒有這些技術，即使有大量的資料也只能望洋興歎。傳統的儲存技術相對落後，根據不同資料實行單一儲存，這個顯然滿足不了大資料的需求，而雲時代的儲存系統需要的不僅僅是容量的提升，對於效能的要求同樣迫切，與以往只面向有限的使用者不同，在雲時代，儲存系統將面向更為廣闊的使用者群體，使用者數量級的增加使得儲存系統也必須在吞吐效能上有飛速的提升，只有這樣才能對請求作出快速的反應，雲儲存技術的成熟為大資料的快速發展奠定了基礎。

　

　什麼是大資料？

　

　不過說起大資料，估計大家都覺得只聽過概念，但是具體是什麼東西，怎麼定義，沒有一個標準的東西，因為在我們的印象中好像很多公司都叫大資料公司，業務形態則有幾百種，感覺不是很好理解，所以我建議還是從字面上來理解大資料，在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大資料時代》提到了大資料的4個特徵，一個是數量大，一個是價值大，一個是速度快，一個是多樣性。

　

　一個是數量比較大，大致有多大，就是大到PB層級，甚至ZB層級，1PB等於1024TB，1TB等於1024G，那麼1PB等於100多G，當然了具體的計算方法可以相關資料資料進行查詢，總之，和傳統的單個網站資料庫儲存的資料相比，已經是它的上百倍還多，而只有資料體量達到了PB層級以上，才能被稱為大資料。第二個是價值大，價值是大體量資料的更深一步的演變，就是說，你如果有1PB以上的全國所有20-35年輕人的上網資料的時候，那麼它自然就有了商業價值，比如通過分析這些資料，我們就知道這些人的愛好，進而指導產品的發展方向等等。如果有了全國幾百萬病人的資料，根據這些資料進行分析就能預測疾病的發生。這些都是大資料的價值。

　

　第三個就是多樣性，如果只有單一的資料，那麼這些資料就沒有了價值，比如只有單一的個人資料，或者單一的使用者提交資料，這些資料還不能稱為大資料，所以說大資料還需要是多樣性的，比如當前的上網使用者中，年齡，學曆，愛好，性格等等每個人的特徵都不一樣，這個也就是大資料的多樣性，當然了如果擴充到全國，那麼資料的多樣性會更強，每個地區，每個時間段，都會存在各種各樣的資料多樣性。

　

　第四個是速度快，就是通過演算法對資料的邏輯處理速度非常快， 1秒定律，可從各種類型的資料中快速獲得高價值的資訊，這一點也是和傳統的資料採礦技術有著本質的不同。

　

　總之，這些就是大資料的四個特徵，只有具備了這些特徵的資料才能稱為大資料，那麼實際中的大資料是怎麼樣呢？業內著名的和大資料相關的公司，七牛雲端儲存將要在8月29日、30日舉辦一次大資料的會議，對於位於大資料技術產業鏈上的公司來說，我們應該可以獲得更多的乾貨爆料。

　

　大資料的三個層次

　

　說起大資料，大資料有三個層次，第一個是資料擷取層，以App、saas為代表的服務。第二個技術服務層，以七牛雲端儲存為代表的大資料技術服務層，這些包括資料的儲存，資料的分析，資料的挖掘等等，第三個是資料應用程式層，以資料為基礎，為將來的移動社交、交通、教育，金融進行服務。下面我就主要的講下三個層面。

　

　資料擷取層——App、saas、智能硬體服務

　

　在移動互連網時代，大資料的來源層有兩個方面，一個方面是面向個人的資料來源前端如各種各樣的App，一方面是面向企業服務的saas服務的產品。面向個人的App，在飲食領域的App，如餓了麼，使用者通過App進行選餐，下單，通過App互動就會形成飲食領域的大資料；在o2o領域，如嗒嗒巴士，使用者通過使用App進行乘坐交通，上班下班，就會形成交通領域的大資料，如穿衣助手，使用者通過App進行選擇衣服顏色，樣式，進行搭配，就會形式服務類的大資料，當然了還有秒拍、快看等娛樂類的消費資料。面向個人使用者的App，以滿足使用者的需求為主要出發點，產生使用者的資料，這些資料包括以個人基礎的資料，也包括隨群體資料，隨著App使用者量的增長，這些App資料就成了大資料。

　

　面向個人的資料來源，直接通過使用者的需求產生資料，而面向企業服務的——saas服務則不一樣，他們通過為企業提供一套完整的解決方案，而產生資料，比靈機器人，Face Service技術，氣象plus、海康威視等，他們通過完美的解決方案服務企業，最終服務使用者，從而產生大資料，資料擷取層，是大資料的來源，也是大資料的基礎。

　

　雲端儲存對大資料的促進作用

　

　有了資料擷取層，那麼下一步就是資料的儲存層了，使用雲端儲存技術將資料存放區在雲主機上，保證資料的安全、穩定、高效都需要雲端儲存技術來完成。雲端儲存主要負責資料的儲存以及計算，比如七牛的雲端儲存技術，雲端儲存技術是大資料發展跨不過去的一道坎，如果沒有雲端儲存技術，大資料就不能得到發展。

　

　雲端儲存中面向企業儲存區的資料最大

　

　當前的雲端儲存分為公用雲端儲存和私人雲端儲存，公用雲端儲存主要是面向個人，比如百度網盤等，而私人雲端儲存主要是面向企業，其實面向企業的雲端儲存的儲存的大資料最終來源還是來自個人，比如目前的很多saas服務，IM、統計等企業服務，服務主要是面向個人的App，而類似七牛雲端儲存這樣的雲端儲存則是出於更底層，雲端式主機之上，而位於所有個人服務、企業服務之下，所以說，七牛雲端儲存應該積累了更多的大資料，而通過即將月底舉辦的這次《資料重構未來》的大會，我想可以獲得更多的關於大資料的乾貨。

　

　雲端儲存滿足了海量大資料海量資料的儲存需求

　

　隨著移動互連網的快速發展，傳統的儲存方式已經在容量、效能、智能化等方面無法滿足需求。雲端儲存的出現，比如類似和七牛一樣的雲端儲存技術，從功能上彌補了傳統儲存的不足，通過虛擬化大型存放區、分布式儲存和自動化營運等功能，實現了儲存空間無限增加和擴容，自動化和智慧型功能提高了儲存效率。另外，規模效應和彈性擴充，降低運營成本，避免資源浪費。

　

　雲端儲存技術節省了開發人員的成本

　

　特別是當下移動互連網的火爆，使得App行業出現了爆髮式的增長，App的 數量已經達到了300百萬以上，同時圖片App、視頻App、音頻App如camera360、優酷視頻、荔枝FM等App都會在發展過程中產生大量的資料，對於這些資料來說，如果讓企業自身去開發一款分布式的儲存系統，這可能需要構建一個幾十人的Team Dev，成本也會大大增加，而通過使用類似七牛一樣的雲端儲存，可以節約企業成本，讓企業發展更加迅速。

　

　雲端儲存技術為大資料的資料分析提供了基礎依據

　

　作為大資料的儲存服務商，雲端儲存有著非常大的資料採礦潛力，雲端儲存平台為大資料的分析提供了“水”的來源，有了這些資料，同時配置上一些資料分析工具，完全可以產生一些非常有價值的分析資料報告。

　

　比如雲端式儲存服務這個基礎，七牛可以在企業的需求下，為企業提供企資料分析，例如這款應用在哪些地區受訪問次數多、怎樣的使用者更喜歡這款應用等，但不會涉及分析使用者隱私相關的資料。當然了，還可以針對整個圖片行業、視頻行業、以及音頻行業提供受眾的使用者行為、以及特徵這一系列的群體特徵。

　

　這些都是雲端儲存在儲存的資料體量達到大資料的特徵後，能做的一系列的分析依據。所以說雲端儲存是大資料發展中的最重要的一個環節。

　

　大資料未來的行業應用

　

　說了大資料的採集層，資料存放區層，那麼最後講下大資料的應用程式層，既然有了大資料，那麼以大資料為基礎，就會產生以移動金融，移動社交，o2o，線上教育等多方面的應用。

　

　移動金融

　

　隨著移動互連網金融的發展，金融交易與支付已經從案頭電腦延伸到移動智能終端，企業自身只能從內部洞察經營情況，或從市場中獲得不全面的統計資訊，作為決策參考。比如銀聯智惠可以協助企業能夠從外部瞭解市場，洞察對手的位置，瞭解市場趨勢和自身的地位，通過利用自身優勢通過全行業的交易記錄得到高品質的基礎資料，並替企業完成了大量繁瑣的資料擷取、清理工作，整合到企業的基礎經營分析資料庫中，讓企業事半功倍。

　

　當基礎資料進入企業資料庫後，通過銀聯智惠的使用者畫像模擬器進行勘探消費行為建模，將曆史交易行為分得出勘探的交易共性特徵，從而完整的從消費性別、消費年齡、消費習慣、消費頻率、消費地區、消費偏好等多重維度完整描述客戶群的輪廓，並得出客戶的上下遊關聯交易行為特徵，讓企業真正認知客戶群體的全貌，從而進行有效商業決策。

　

　移動社交

　

　隨著脈脈，戀愛記等社交應用的使用者越來越多，使用者的社交行為將會成為大資料的分析基礎，通過分析使用者的社交時間、對象、地點以及行為，可以分析出使用者的愛好、年齡、需求，同時基於使用者的大資料，可以針對這些資料做定向營銷，從而大大提升了營銷的效果，而相比之前的營銷手段，則是基本根據人員的策劃和想象得出，沒有資料參考，營銷的效果也不好把控。比如脈脈可以通過一些使用者資料為企業招聘到合適的人，同時還能為一些使用者提供一些合適的職位，完成需求和供求的高精度的匹配。

　

　而戀愛記，是一款記錄戀愛為主的社交App，更加垂直，那麼通過分析情侶之間的資料，可以獲得更多的情感資料，從而為一些適齡男女提供戀愛的指導。這些都是基於大資料的應用。

　

　O2O類的應用

　

　移動互連網的深入發展，促進了o2o的繁榮，以嗒嗒巴士為代表的定製公交車應用，就是大資料的代表應用。

　

　傳統的公交出行在公交站、大眾運輸路線的設定上，相對來說比較固定，通過分析一個城市內的群體出行資料，可以獲得人群隨著時間的出行規則，比如知道在早上8點為出行高峰，而從某個小區到某個寫字樓的人流數為最大，那麼我就定製一條公交線路出來，對於使用者來說，滿足了使用者的需求，而對於公交公司來說，則是最佳化了交通路線，節約了資源，間接提升了成本，這些都是大資料的好處。

　

　……

　

　還有更多的領域可以用到大資料，如大資料醫學，大資料營銷，穿戴式裝置等等。通過大資料可以創造出更多價值，正如一篇文章說到，通過大資料讓做事的方法更加容易，讓現實從三維空間變成了二維碼空間，就像宇宙的蟲洞一樣，可以直接達到目標。意思是在過去沒有大資料做參考，我們需要實驗多次，才能知道那條路是對的，但是現在有了大資料做資料參考，我們可以直接到達終點。所以說大資料使得事情的發展變得更加簡單。

　

　移動互連網李建華，：ydhlwdyq， 移動互連網行業推廣人士，轉載本篇文章，請註明作者和，否則將追究你的法律權利。

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

一篇文章為你解讀大資料的現在和未來