大資料要少說多做

標籤：大資料   資料視覺效果   移動大資料   雲   

與雲端運算當初遇到的問題一樣，大資料也面臨如何“做實”的問題。在已經認識到大資料的重要性和必要性的基礎上，企業要做的是更“智慧”地處理大資料，在大資料的應用和商業模式上進行創新。

　　8月22—24日，2014中國大資料國際高峰論壇在上海舉行。記者隨機採訪了幾位與會嘉賓，他們幾乎異口同聲地表示：大資料當前最緊迫的任務是加速落地，不能光講概念，關鍵還是利用大資料為商務服務，促進應用創新。

　　不要太浮躁

　　“浮躁”，這是天雲大資料首席執行官雷濤對當前中國大資料超市的整體感覺。中國使用者已經逐漸認識到大資料的重要性，並且開始嘗試做一些大資料的處理和分析工作，比如採用Hadoop、記憶體計算等技術構建分布式的大資料平台，一些電信電訊廠商日均處理資料的規模達到了數百億條，天雲大資料協助***在其核心系統中採用了Hadoop等。但是，大多數的使用者仍然習慣性地將大資料與BI(商業智慧)結合在一起，按照BI的老路子處理大資料。而雷濤認為，這種作法對於大資料而言，無論是思想還是實施方法都是有問題的。“我們已經邁入DT(Data Technology)時代。在搭建起適合的大資料基礎架構平台後，我們要學會如何更聰明地處理資料。在IT時代，人們更關注技術本身，而在DT時代，資訊才是核心。”

　　北京騰雲天下科技有限公司(TalkingData)聯合創始人、副總裁蔣奇也認為，當前大資料的口號喊得多，而真正落地的大資料應用和成功的商業模式還比較少。“我們嘗試用移動大資料實現風險管控，雖然實現起來難度比較大，而且有失敗的風險，但我們仍然勇敢地進行嘗試。”蔣奇表示，“最初，使用者不斷產生的新需求促使我們持續地改進自己的產品，增加新功能。後來，我們觀察到一些新的資料消費需求，因此在開發通用的移動大資料平台的基礎上，又增加了許多垂直應用，繼續開拓遊戲、電商、金融等細分市場。”

　　“在大資料方面，我們欠缺的是基礎知識方面的教育，還有大資料的實施和應用經驗。”賽仕(SAS)軟體研究開發(北京)有限公司總經理劉政語重心長，“大資料的出現並不是要替代傳統的結構化資料分析，而是一種有益的補充。不能單純強調大資料在處理非結構化資料方面的長處，而忽視或放棄對結構化資料的分析。大資料若想發揮其價值，還是要依靠原來的技術基礎。”

　　大資料價值逐漸顯現

　　移動互連網領域是大資料應用的前沿。成立於2011年的TalkingData是一家獨立的提供移動巨量資料服務的公司。截至今年7月底，TalkingData的資料服務已經覆蓋8億台終端裝置。“以前，一個APP的Team Dev沒有渠道去瞭解和掌握其開發的APP的使用者下載和使用方式。我們提供了一個雲端的分析平台，可以從終端上提取APP使用者的行為資料並進行分析，然後將結果反饋給APPTeam Dev，這樣有利於其產品迭代。”蔣奇介紹說，“我們目前支援的應用超過4萬個，滴滴打車、聚美優品和許多知名的遊戲廠商都是我們的使用者。”

　　TalkingData的勘探群十分明確，就是個人消費者。蔣奇認為，只有為個人消費者提供服務才能真正展現大資料的價值。雖然服務的是個人消費者，但TalkingData合作的對象都是企業使用者。協助這些企業瞭解其客戶的情況，實現精確營銷是TalkingData的主要任務。蔣奇舉例說，以前，採用線下發卡的方式，由於開卡周期長，招商銀行的信用卡開卡率只有30%左右。招商銀行希望改用線上發卡，但又苦於沒有好的辦法進行信用風險評估。TalkingData根據信用卡申請人提交的家庭地址、單位地址和所持行動裝置的MAC地址資訊，利用先進的演算法可以反推並核實信用卡申請人提交的資訊是否正確，而這一過程只需三五分鐘。

　　利用從終端裝置上擷取的“去敏感”資料，TalkingData可以反算出裝置擁有者的個人資訊、喜好等，然後將這些資訊提供給傳統行業的使用者，協助他們實現業務增值。蔣奇表示：“未來，我們希望在機器學習、智能挖掘等技術方面更進一步，同時在演算法上有新的突破。”

　　SAS在結構化資料分析方面擁有領先的技術和全面的解決方案。劉政認為，現在SAS已經可以很好地解決大資料“大”這個問題。用傳統的方式處理幾百行資料都要很長時間，但現在採用多線程、分布式的處理方式後，可以大大提高資料處理的效率。“傳統的工作方式是從資料庫中讀取資料，然後建模、分析。現在，我們將計算模型放到資料庫中，不用提取資料，在資料庫中即可完成資料的處理和分析，從而提高了資料處理和分析的速度。利用記憶體處理技術，我們可以即時地進行資料處理。”劉政介紹說，“我們將可視化技術與記憶體技術相結合，幾秒鐘就可以把所有資料掃描一遍，並得到即時處理結果，這讓大資料分析變得非常簡單，就像使用傻瓜相機一樣。”

　　大資料對各行各業都產生了積極的影響。人們開始利用大資料輔助決策，並取得了很好的效果。

　　資料視覺效果的演化

　　處於巨量資料生態系統頂端的資料視覺效果引起了越來越多人的關注。在資料即時處理方面頗有心得的SAS公司在資料視覺效果方面也充分展現了其速度上的優勢。據劉政介紹，SAS公司將記憶體計算等技術運用於資料視覺效果，即使處理超過10億行的資料也可以即時得到結果。SAS將資料的即時處理分析與資料視覺效果技術進行了很好的整合。

　　在資料視覺效果方面有20多年經驗的Datawatch公司通過其在中國的惟一夥伴國泰安金融教育集團進入了中國市場。Datawatch公司董事總經理Karl Mouantri表示，電信、零售等希望通過大資料促進其業務發展的行業客戶會最先使用資料視覺化工具。在全球，許多知名的金融企業、IT公司和像波音、沃爾瑪這樣的傳統行業的大客戶都採用了Datawatch的資料視覺化工具。國泰安金融教育集團將自己積累的行業資料與Datawatch的資料視覺化工具進行整合，為中科院的科研資料分析提供瞭解決方案。在中國市場上，Datawatch並沒有急功近利，它們希望通過與國泰安金融教育集團這樣既有遠見，又在金融、教育等行業有深厚積累的公司進行合作，紮紮實實地推進業務發展，同時從中國的高校起步，加強對學生的教育和培訓，讓他們對資料視覺效果有更深入的瞭解。

　　Karl Mouantri一直強調，Datawatch是一傢具有顛覆性創新能力的公司，在大資料的即時處理和可視化技術方面擁有獨特的優勢。Datawatch的產品具有直觀的資料視覺效果分析、全面的資料過濾和警示功能，能夠處理不同來源的資料。“我們既可以處理經過預先清洗的資料，也可以直接採集未經處理資料。”Karl Mouantri介紹說，“有些經過清洗的資料可能會丟失一些重要的資訊。為了得到更準確的分析結果，我們可以直接抓取未經處理資料並進行處理和展現。”

　　Karl Mouantri認為，對於大資料來說，資料視覺效果的工作是必須的。資料視覺效果不僅僅服務於企業的高層管理員，而且也是企業的基層員工必備的工具，比如從事營運、倉儲工作的員工也需要即時查看業務的進展。Karl Mouantri舉例說，在美國，沃爾瑪超市每天早、中、晚要三次清點貨品，查漏補缺。因此，它們非常需要Datawatch的資料即時處理和視覺化檢視，以便即時監測數千種商品的情況。“我們要把沃爾瑪超市的這種成功經驗帶到中國來。”Karl Mouantri表示。

　　不過，對於資料視覺效果的作用和必要性，雷濤有不同的觀點。他認為，從資料擷取、儲存到處理、分析，再到可視化，這是傳統BI的思路。但在DT時代，企業決策要扁平化，服務要下沉。

　　“我們協助一個保險業的客戶實現了資料庫前置，將大資料分析的結果直接推送給18萬名銷售代表。我們給出的分析結果只是一個簡單的提示，即某個銷售人員最應該關注哪個客戶，僅此而已。這時，傳統的資料儀錶盤就失去了作用。”雷濤表示，“現在，大量的資料來自於物聯網，傳統的資料視覺化工具已經無能為力。我們必須採用新的架構、工具。”

　　鏈 接

　　2014中國大資料國際高峰論壇由中科院深圳先進技術研究院、中國量化投資研究院、複旦大學管理學院、《上海證券報》社和Datawatch公司共同主辦，500餘位國內外大資料產業界、學術界的頂尖專家和學者，以及國內IT、金融、教育、醫學等多個領域的代表匯聚一堂，共同探討大資料產業的發展，分享大資料應用和創新成果，剖析各行業資料分析難題，尋求解決之道。

　　論壇以“大資料的創新、突破、騰飛”為主題，採用主題報告加專題論壇的形式。會議同期還舉辦了大資料技術與應用進階研修班。研修班由中科院深圳先進技術研究院國泰安金融大資料研究中心主辦，聘請了國內外著名的大資料專家、學術界知名學者擔任培訓講師。此舉將對高校大資料人才培養、企業高效管理與創新發展產生積極的意義。

本文出自 “郭濤的儲存世界” 部落格，請務必保留此出處http://gtstorageworld.blog.51cto.com/908359/1550310

大資料要少說多做