標籤:
大資料絕對可以算得上當下的流行話題,購物要大數、出行要大數、看病要大數、上學要大數……,好像什麼行業都能與大資料搭上邊,又似乎一切都可以大資料了。對於經曆過多年公司資訊化的傳統企業來說,大資料對於他們既清晰、又迷茫,他們有過資料倉儲、資料採礦、商業智慧(BI)概念的洗禮,但又看不懂“大資料”與之前的概念有哪些不同。
按照百度百科的解釋,大資料技術(big data),或稱巨量資料,指的是所涉及的資料量規模巨大到無法通過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為協助企業經營決策更積極目的的資訊。大資料的4V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。顯然上述解釋僅僅是描述了大資料的一些特徵,對於企業如何開發大資料、利用大資料進行運營管理,並沒有過過多的指導。
本文建議傳統企業在建設大資料系統的過程中,不僅要建設資料分析平台,更要構建起一個資料分析的生態圈,讓人人都是分析師,讓資料分析滲透到企業運營的每個環節,真正實現資料運營、科學決策的管理員模式。構建資料分析生態圈,可以概括為“兩個市場,一個平台”,兩個市場是指業務資料超市、分析工具市場,一個平台是分析觀點分享平台。
一.業務資料超市,讓業務資料變得開放透明。
業務資料是分析的源泉,沒有資料就談不上大資料。企業經過多年的資訊化建設,一般都會有多套業務系統在運行,如辦公自動化系統(OA)、財務管理系統、ERP系統等不一而足,但這些業務系統都是孤島式隔離,資料缺乏整合,而且底層資料庫都是經過專業設計、複雜度較高,非廠家技術人員難以使用,通常都是利用定製報表的方式進行分析和使用。因此,在利用資料上存在著資料提取難度高、報表需求響應慢、資料準確性差等問題。
產生上述問題的原因在於,傳統資料結構複雜,對業務人員不開放,利用報表的方式提供資料時,需求人員期望的資料與技術人員提供的報表之間存在著巨大的鴻溝。建設業務資料超市就是將各業務系統的資料進行抽取、清洗、整合之後,按照業務過程重新進行整合,封裝為統一粒度、統一維度資料庫表。這些資料表的特點就是能被業務人員所理解並解讀分析,這樣業務人員可以在較早期就探索資料中間存在著的問題。在建設資料超市的過程中,有幾點需要特別注意:
l 採用維度建模方法,以“易懂性、易用性”為原則。業務資料超市的資料是供企業分析人員使用,他們更多的是不懂技術的業務人員,資料結構應該符合多數人的直覺,而非像傳統“三範式”那樣,需要藉助複雜的ER圖才能表述清楚。對於專業的IT人員,尤其是要抵制將維度模型設計成“雪花模型”以節省資料重複、增加靈活性的誘惑,從而帶來模型複雜性的代價;
l 全面梳理業務,實現資料的互聯互連。傳統企業的業務系統,多數是煙囪式的軟體系統,若不在企業層面進行業務梳理,就不能很好地對資料進行整合,提取有價值的資訊。在整合資料的過程中,必須要有統一的維度才能有效實現資料整合,比如,統一的客戶編碼、社會安全號碼等,所以梳理企業層面的統一維度是實現資料整合的關鍵步驟;
l 分主題、穩步推進。企業運營涉及的業務過程眾多,眉毛鬍子一把抓是不可能的。在建設企業資料超市時,要根據企業的特點,優先建設對運營最重要的業務,儘快投入使用,逐步完善,比如,一個銷售類的企業可以先將訂單業務整合起來;
二.分析工具市場,打造適合需要的分析架構。
資料是一座金礦,但還需要依賴好的工具才能將金子提煉出來。直接分析未經處理資料雖然靈活,但更加適用於高水平的人員,對於大多數的一線員工,應該提供更加易用的分析工具,如報表、圖表、報告等,將業務指標以形象的方式展現出來。分析工具市場就是企業內部彙集分析工具的地方,提供給員工根據自身情況使用。
分析工具市場包含兩部分功能,一是製作分析工具的開發平台,一是運行分析工具的門戶平台。在建設分析工具市場的過程中,有幾點需要注意:
l 分析工具市場建設。從技術角度來看,分析工具市場可以找到眾多的軟體系統滿足需求,企業可以根據實際情況,或採購、或使用開源,搭建這麼一套軟體系統,既能讓企業自己定製報表、分析圖表,也能將製作好的分析報表展現出來;
l 分析工具的開發以企業自身為主,外購為輔。分析工具與業務特點、與人員使用習慣等因素緊密關聯,其需求變化頻率高,全部依賴外部廠家開發,則一方面費用較高,另一方面需求響應也不及時,可能等開發出來,分析的需求卻沒有了,因此企業要培養自己的開發隊伍,可以利用資料超市中的資料開發出各類查詢報表、分析圖表等;
三.分析觀點分享平台,讓資料分析社交化。
大資料時代,在資料充裕的同時,帶來了有價值分析結果的匱乏。資料分析,絕對不是高高在上的陽春白雪,而是需要人人蔘與、百家爭鳴的氛圍,要在企業內部樹立人人都是分析師的理念。
分析觀點分享平台的建設,採用類似於朋友圈、微博等社交媒體的機制,讓每個人都有機會表達對資料的分析觀點,通過轉寄、評論機制,讓有價值的觀點浮上來,在這個過程中,分享觀點的個人可以獲得成就感,轉寄、評論的人有參與感,企業從中擷取到對運營決策有價值的想法,基於資料分析過程實現了科學、民主的決策。在建設分享平台的過程中,有幾點需要注意:
l 人員關注機制。由於企業運營不同於互連網,存在著一定的封閉特性,不建議採用微博關注的開放性,而應該採用朋友圈類似的“關注-同意”的朋友機制,避免不適當的關注帶來的資訊泄露;
l 分享範圍控制。由於企業資料的特殊性,員工在分析觀點的時候需要控制分享範圍,避免機密資訊的泄露。控制分享範圍,既要有人工控制,也要從平台層面通過許可權控制,如財務資料的分享範圍僅限某幾個部門或人員等;
l 分享觀點排序演算法。綜合多種因素對發表出來的觀點進行排序,以便讓展現到每個人眼前的都是最符合期望的內容,營造一個良好的分享環境,避免劣質內容驅逐優質觀點給生態圈帶來的毀滅性打擊。
相信企業通過建設“兩個市場,一個平台”,一定可以充分探索資料價值,在大資料的浪潮中遊刃有餘,真正實現資料運營、科學決策的管理員模式,避免經驗決策帶來的錯誤。
當傳統企業遇上大資料