為企業植入“智商”

標籤：大資料 hadoop it技術

大資料無疑是未來影響各行各業發展的最受矚目的技術之一。根據IBM的一項研究，過去兩年產生的資訊占整個人類曆史資訊總量的百分之九十。換言之，大資料的體量已經達到了傳統資料庫管理系統無法有效處理的程度。人們無論是使用手機，還是進行網路購物，都會留下自己的數字足跡。

  資料資訊的大爆炸，無疑將引發企業的巨大管理變革。“應該說，大資料會讓企業更好地理解消費者，同時讓決策變得更加有效。當然，它帶來的挑戰也不容小覷。”埃森哲戰略諮詢全球董事總經理馬克·斯佩爾曼在本屆達沃斯論壇上向記者表示，“如果企業忽視了這些資料，將會引發巨大的競爭風險。”

  那麼，大資料將為商業世界帶來怎樣的本質性的變化？

  掘金大資料

  眼下，各個行業都在產生資料，現代社會的資料量正持續地以前所未有的速度增加著。與此同時，資料的類型變得難以計數，包括文本、微博、感應器資料、音頻、視頻等，各種形式的資料都出現了爆炸性增長。

  傳統的資料分析，是通過提出假設然後獲得相應資料，最後通過資料分析來驗證假設。而大資料恰恰相反，它是從收集的海量資料中，通過演算法將這些來自不同渠道、格式的資料進行直接分析，從中尋找到資料之間的相關性。簡單而言，大資料更偏重於發現，以及猜測、印證的迴圈逼近過程。

  一方面，大資料有助於人們發現事物的個體特性，並針對每一個個體提供差異化的解決方案；另一方面，大資料研究也能協助人們從大量個體的差異變化中，揭示其中存在的難以察覺的規律。

  “打個比方，當一輛高鐵在行駛過程中，大資料技術是通過各個外部渠道的即時資料來分析高鐵的安全性。在分析的同時，火車仍在行駛，不會停下。”馬克·斯佩爾曼表示，“而傳統的分析方法，是一定要等出現事故後才進行追溯分析。”

  馬克同時坦言，駕馭大資料的能力並非那麼容易獲得。很多時候，傳統的商業智慧系統與分析軟體，在面對視頻、圖片、文字等非結構化資料時，往往束手無策，缺少有效分析工具和模型。

  “一直以來，大資料技術的痛點並非在資料的收集上，而是如何利用這些資料。”馬克稱，“企業必須去蕪存菁，將資料轉化為正確的商業決策，才能與競爭者形成差異化。”

  就這一點來說，全球最大的拍賣網站eBay的做法頗為典型。譬如，一位年輕的女性早上10點在星巴克瀏覽eBay網站，eBay應該推送給她什麼樣的商品呢？事實上，eBay此前已經研究了各種不同情形下的不同購物模式，它可以從使用者以往的瀏覽記錄裡推斷她想要什麼樣的商品，也可以從設定的成百上千種情景模型中計算出使用者可能的需求；或是對照另一位有著相似特點的女性使用者，看她當時買過什麼樣的商品，從而判斷出這位使用者潛在的需求。在綜合各種考量因素後，eBay的後台往往在短短几秒內將商品頁面推送給使用者。

  變革與挑戰

  通常情況下，獲得的資訊越多越有利於企業做出明智的決策。但很多時候，資料量過大、資料模型欠缺，會讓分析的結果與真實狀況大相徑庭。就eBay而言，其基於資料分析後“猜錯”的情況非常非常多。

  據專家測算，資料分析師的50%~80%的時間都花在了處理資料上。即便如此，資料搜集的偏差、誤差積累疊加、假關聯性、資料外生性等問題，紛紛“汙染”著分析運算的結果。

  在此基礎上，全球資料目前以每兩年翻一番的速度遞增，2007年時，全球感應器擷取的資料就超過了儲存總量。大資料的儲存成本很高，而要擷取一些新資料，就必須丟掉舊資料。這同樣不利於資料的分析與研究。

  此外，來自各種感應器、文檔、網頁、資料庫的資料，大多是不同的格式。而這些資料要被軟體理解和分析，必須被轉換為統一格式。

  將各類資料進行格式統一，又是一個嚴峻的挑戰。資料和人類語言一樣都具有模糊性，有些資料人們知道是什麼意思，電腦卻不能識別。於是，很多時候，人們不得不一次又一次地重複資料轉化的工作。

  相比於大資料帶來的技術挑戰，更大的難題來自於決策的變化。在資訊有限、擷取成本高昂且沒有被數字化的時代，企業內作重大決策的人往往都是組織的最高層，或是外部擁有專業技能和顯赫履曆的智囊團。時至今日，高管的決策仍然更多地依賴個人經驗和直覺，而不是基於資料。但到了大資料時代，資料分析會直接影響組織怎樣做決策、誰來做決策，從而減弱個人的權威性。一個明顯例子是，在媒體業，《赫芬頓郵報》和Gawker網站上傳播的新聞通常取決於資料，而不再取決於編輯和記者的新聞敏感度。資料比有經驗的記者更能揭示出哪些是符合福士口味的新聞。

  不過，大多數組織都無法輕鬆地完成這一轉變。在9月10日舉辦的達沃斯論壇上，普華永道發布報告稱，調查顯示僅有三分之一高管們表示，他們在上一次制定重大決策時採用了資料和分析。雖然有58%的高管們在決策制定上，還是依據直覺、經驗、建議以及在企業中的其他經驗，但43%的高管們承認，那些擁有高度資料驅動的企業，在過去兩年的決策制定獲得了很大的提升。所有高管們都表示，未來兩年將優先考慮對高品質資料分析的投入，以更好的制定決策。

  “應該說，大資料並不會完全取代個體做決策，即便取代，那也有很長的路要走。”馬克指出，“但大資料會改變人們做決策的內容和方向，會對管理者的知識結構和分析能力提出更高要求。”

思數雲端運算和巨量資料服務中心www.bihuman.com

攜手阿里、百度、高德、TX、藍汛等知名企業。

精心打造五人精品Hadoop大資料培訓班  培養市場急需高薪人才。

1  基於Hadoop和大資料實戰經驗自主研發的培訓教材和課件

2  提供認證考試資格以及多種職業資格認證

3  來自知名企業且有多年Hadoop實際研發經驗的講師和技術顧問團隊

4  熟悉銀行、保險、電信、互連網、零售、公安等行業大資料處理應用

5  精通商品推薦、廣告營銷、海量儲存、全文檢索索引、輿情分析等大資料應用情境

6  與眾多互連網和IT知名企業共同作業，提供職業發展諮詢和高薪就業機會

7  可定製的、靈活的企業內訓；小班面授培訓

新時代，新挑戰，新機遇，歡迎登陸www.bihuman.com竭誠為您服務！                                    

為企業植入“智商”