實際上,人們關注大資料的原因不在於「大」,而在於「價值」。 只有足夠有效的應用,才能獲取資料的價值。 對於企業來說,只有在戰略層面確立了資料分析的重要性,方可持續改善。
大資料之熱
9月的浦東新區,天氣已經略有涼意。 張江高科技園區一個四周是玻璃的高檔辦公樓裡,一大早,市場部門的資深員工李小姐正在自己的座位上開始一天工作之前的熱身:倒杯水,花上一刻鐘到半小時在各大網站上流覽當天要聞。 在她最常去的幾個論壇裡,通常汽車、服裝,或者旅遊促銷的廣告會不請自來。 最近她發現這種多年不變的情形有了些不經意的變化,比如剛剛跳出的這個視窗:大資料分析説明你鎖定高價值客戶。 「大資料」和旅遊論壇有啥關係? 她百思不得其解。
她所不知道的是,她在瀏覽器搜索介面裡曾經輸入的「客戶」、「促銷」、「通信錄」等關鍵字,已被IE上面掛靠的抓取程式自動獲取,並且被關聯了相應的廣告,由IE外掛程式完成最終的廣告推送。 在北京郊區某處的機房裡,基於「關聯規則」和「聚類」等統計分析方法的分析軟體在時刻不停地處理成千上萬個李小姐產生的資料。
她或許還沒有注意到的是,大資料和分析正在成為全世界炙手可熱的概念。 先是幾年前谷歌首席經濟學家宣稱:資料分析員正成為21世紀最性感的職業;又有2012年3月29日奧巴馬政府公佈「大資料研發計畫」(Big Data Research and Development Initia-tive), 白宮科技政策委員會(OSTP)還成立了大資料高層指導小組以推動這一戰略規劃。 再有就是今年的事情了,地球人都已經知道,2013年是「國際統計年」。
幾個月前,Michael Rappa教授于美國眾院聆訊,主題正是「Next Generation Com-puting and Big Data Analytics」——下一代計算及大資料分析。 Rappa教授作為IAA(In-stitute of Advanced Analytics, NCSU,北卡州立大學高等分析學院)創始人,去年被美國科學基金會新創立的大資料委員會任命為學術聯合主席。 奧巴馬政府的大資料研發計畫資金正是來自于美國科學基金會。
國內學術界,得益于前中國人民大學常務副校長袁衛先生及其他統計學界知名教授學者的持續不懈的努力,2012年,教育部終於把統計從數學的範疇內獨立出來,正式升級成為與數學、物理、化學、電腦等大學科平級的「一級學科」。
以統計學為核心的資料分析方法正在學術、工商和政府等領域顯現出越來越大的價值。 李小姐電腦上的變化,則是這一趨勢的小小表徵。
最近Gartner發佈了2013年度商業智慧和分析的魔力四象限圖,報告明確指出,大資料和分析正在成為企業IT規劃的核心。
一切的現象都在告訴人們,一個新的科技時代似乎正在來臨。 有些IT職業追潮人士甚至激動地認為「人類歷史上第三次科技革命」即將到來。
大資料之惑
問題在於,什麼是大資料? 為什麼人人言必稱大資料? 「很大很大的資料」就是大資料。 對「大」的定義在不斷刷新。 10年前1GB資料已經很大了,今天,1000GB並不算太大。
問題其實不在於大,而在價值。 「大資料」再大仍舊只是資料,沒有足夠有效的分析與應用,一切資料都是垃圾。 紐約時報專欄作家David Brooks認為,缺乏足夠有效的分析是大資料的最大問題:越來越多的資料,帶來越來越多的相關性;其實很多相關性都是沒有意義的,這種欺騙性質的資料關聯會把資料管理者和消費者引入歧途, 浪費大量的人力物力去管理、分析這些資料。
除了傳統意義上人們認為的那些有行有列有數值或者文字的資料表單之外,IT技術還説明人們收集了越來越多的其他類型的資料,比如視頻,語音,圖片,文檔等。 這些被稱為「非結構化資料」。
結構化與非結構化資料每天都在成倍的增加。 以道路視頻監控為例,全上海的攝像頭有10多萬個,每一刻都在記錄圖片與視頻。 一旦發生案件或者事件,這些記錄在硬碟庫裡的資料就成為偵察與審判環節的重要證據。 儘管目前技術尚不支援,業界仍然期望未來能在TB乃至於PB級的視頻資料裡搜到一張特定身影或者臉孔。 這類搜索/分析技術未來將是啟動視頻類大資料應用的引擎。
同樣,基於語音、照片或者文本的分析與資料採礦同樣可以給人類對資料的理解帶來革命性的突破。 問題在於,這類技術仍停留在實驗室階段。
儘管沒有足夠的應用,大資料仍然不可阻擋地火熱了起來。 不扯上大資料似乎就要落伍了一樣,大資料滿天飛的日子來到了。 至於這股潮流到底會演變成象.com一樣的泡沫,還是第三次產業革命,在華威先生們眼裡,已經根本不重要了。 業界,資料庫/存儲等領域供應商當然樂見其成,而企業的IT經理們則又多了一個申請預算的藉口。
資料的價值及企業資料戰略
資料的獲取與存儲仍然是IT建設的基礎架構。 一旦決定啟動「大資料戰略」,對資源源源不斷的佔用使得這一工作黑洞化。 如何規避這種大資料黑洞?
結合全球主要行業領導企業以及部分小而強的歐洲企業的成功案例,個人認為,應該以應用(分析及業務決策)為中心建立相應的資料戰略,並且隨之建立相應的從收集資料、管理資料到最終業務決策的一整套流程。 而不是為數據而資料——首先要建立以應用為中心的資料戰略。
說到應用,銀行、保險、汽車、化工等幾乎所有行業都在開展以資料分析為基礎的各種應用。 例如電商在分析顧客採購行為資料,以進行促銷和相關貨品推薦(交叉/提升銷售)。 航空公司在調查旅客回饋,以改進空中服務(客戶挽留)。 藥廠在對臨床實驗資料進行分析,以判斷新藥的安全性和有效性(研發新產品)。 汽車廠商在對維修資訊進行分析,以改進汽車整車和關鍵零部件的可靠性以提升客戶滿意度(挽留及獲取客戶)、降低客戶擁有成本和車廠的保修成本(降低成本)。
只有足夠有效的應用,方可獲取資料的價值。 企業只有在戰略層面確立了資料分析的重要性,方可持續改善。 以GE為例,六西格瑪及相應的資料分析流程已經成為GE的全球戰略與文化。 不僅如此,GE還不斷地推動基於資料分析的持續改善工作。 在高端航空發動機研發及GE能源系統業務領域方面,GE也與時俱進,導入JMP所代表的業界最高水準的實驗設計(DOE)方法,以進一步提升其研發水平。
其次,一切都離不開人。 與這股指數級增長的資料分析需求相對應,統計、分析類人才正成為職場上的稀缺品種和搶手貨。 3月初華爾街日報刊登了「全美最搶手職業排名」,資料分析類職位高居榜單第二位。 這是美國。 對中國來說,或許排名更高,因為稀缺。
最後,建立一整套以資料分析及決策流程,以取代傳統的拍腦袋決策體系。 這一點對於中國企業來說尤其需要強調。 這不僅僅是對戰略的有效執行,更需要企業拿出「改變」的決心和勇氣,在制度層面體現出對「改變」的鼓勵和包容。
在這個應用為王的年代,對於企業來說,不論是搭建基礎架構還是應用軟體,要不要投入,如何投入,其實是個老話題了,無外乎價值與價格。 大資料/雲計算,不論名字如何變化,邏輯依舊。
(責任編輯:蒙遺善)