關於大資料的資訊鋪天蓋地而來,讓大家看得眼花繚亂。 雖然資訊很精彩,我們也看到了大資料背後的價值,但很多企業不知道如何下手。
本著務實的態度,利用較低的成本,通過對大資料進行高速捕獲和即時的分析,以獲取核心業務和戰略決策所需的關鍵資訊,從而提升企業經營管理和戰略決策水準,最終創造巨大的商業價值,也許是對大資料價值的最好詮釋。
在對大資料進行分析的過程中,傳統BI(商業智慧)的做法是,IT人員事先根據分析需求來進行建模,做二次表或打Cube,提前匯總好資料,業務人員在前端查看分析結果報表。
這種做法很成熟,持續了很多年,但是也存在著一些問題:
1. 業務人員查看的報表相對靜態,分析的維度和度量的計算方式已在建模時預先設定好,不能更改,比如定好了是求和或求平均數,想改成求方差必須回去修改模型;
2. 分析需求變更時,業務人員不能直接調整報表,需要IT人員重新建模或修改已有分析模型,耗時較長,回應速度較久;
3. 有些企業的資料量很小,也需要按照此流程和架構來進行大費周折的資料分析。
造成這些的問題的本質原因是,過去的技術架構針對海量資料的計算能力不足,需通過建模、二次表、Cube提前進行資料運算匯總。
解決方案——永洪敏捷BI
隨著技術的發展和演進,BI領域已經迎來了新一代敏捷BI的革新。 採用永洪敏捷BI的資料分析優點包括:
? 分析報告不能只能看而不能動。 資料展現是起點,而不是終點。 看到了資料,要能互動式分析,要能深入向下挖掘,要能發現問題,要能找到答案,還要能採取行動。 和資料交互的過程要足夠快,如果使用者每次點擊需要等三五分鐘才出結果,就無法進行交互分析。 永洪敏捷BI基於大資料的處理技術,對TB-PB級的資料可實現秒級回應;
? 分析報告應能讓非IT部門的同事直接在分析平臺上做出來。 不能把所有的分析報告需求都提交到IT部門,這樣會嚴重增加IT部門的工作負擔。 敏捷BI實施和操作簡單,業務人員可直接使用;
? 分析報告需求經常需要資料層的改動,需要IT部門去改進資料層和業務層,傳統BI平臺需要一兩個月去梳理模型。 永洪敏捷BI無需事先建模,可在分析過程中靈活調整分析維度和報表展現,需求變更可以在一天之內回應,提升企業的洞察力決策力。
敏捷BI的原理
與傳統BI的重量建模、統一視圖不同,敏捷BI採取輕量建模、N個視圖的方法,不建二次表和Cube,資料連進來直接可以進行分析,並且業務人員可以即時調整分析的維度和度量的計算方式,極大增加靈活性,真正做到和資料對話。
想必大家會有一個疑問,既然有這麼便捷的方式,為何傳統BI不採用這種架構呢? 正如上文所說,傳統的技術架構沒有引入現在的大資料技術,面對海量資料無法在使用者點擊的幾秒內就展現結果,因此必須通過建模提前把資料匯總好,才能保證分析報表展現時的速度。 實現敏捷BI的大前提是採用新架構處理資料的性能有了幾十倍提升,涉及的技術包括分散式運算、記憶體計算、列存儲、庫內計算等。
因此,敏捷BI可以通過更低的成本、更短的上線週期,快速讓企業洞察到資料的含義和價值。
案例——一天實現資料視覺化分析
我們來看一個艾瑞諮詢集團的真實案例。
艾瑞諮詢集團面臨以下問題:
? 艾瑞是國內最大的互聯網媒體/研究機構,70%以上的海外上市企業引用其研究分析報告。 同時向客戶提供定制化諮詢報告的服務,分為提供線下報告和提供軟體兩種服務類型;
? 客戶的定制化需求多變,若生成報告需3-4周交付週期,若提供軟體需半年交付週期。 由於人工成本高,反覆運算週期太長,不敢承接太多報告需求的專案,每年只能做少數的定制化專案;
? 因此,艾瑞希望借助商業智慧工具提升業務效率和收入空間。
總結一下艾瑞的需求:
? 專案的需求舉例:根據時間維度,網站匯總,進行使用者的來源地區、來路功能變數名稱和頁面訪問次數,停留時間,有效訪問次數、跳出率、回訪者、新訪問者、回訪次數、回訪相隔天數等相關資料的統計。 要能夠動態添加條件,通過對使用者行為監測獲得的資料進行分析,更加詳細、清楚地瞭解使用者的行為習慣;
? 每天資料量幾千萬條,且不同網站客戶的分析需求是各自不同的,靈活變化的多維度分析需求對分析性能提出了更高的挑戰,傳統的資料庫以及Hadoop架構已經無法滿足高性能的即時分析需求;
? 國外的產品,如IBM、SAP、Oracle等,價格較為昂貴,在幾百萬量級,難以承受;
? 國內的產品大多是上一代商業智慧,需事先建模再進行分析,難以應對靈活的多維度分析變化需求,且針對大資料量的處理能力不能滿足要求。
最終艾瑞採用了敏捷BI(商業智慧)技術,將三個月的細節資料(約50億條)導入永洪科技的敏捷BI系統,直接定制報告的分析展現。 這一舉措為客戶帶來了巨大的收益:
ü 業務效率提升:採用敏捷商業智慧工具後,對比原先基於Excel和SQL程式設計的分析方法,線下報告交付週期從3-4周縮短至小於1周,軟體交付從半年縮短至一個月;
ü 專案來源增加:原先不敢承接需求未完全確定的專案,因擔心需求變化導致沒有能力交付。 採用敏捷商業智慧工具後,可在幾天內快速搭建原型向客戶展示,任意需求變更可在一周內調整完畢。 通過這種快速原型試錯的方式,有了能力承接此類專案;
ü 收入空間加大:由於業務效率的極大提升,有能力承接更多的專案,收入空間有了幾倍的增長;
ü 客戶滿意度提升:能夠快速回應客戶的需求和變化,超出客戶預期,大幅提升了客戶滿意度和客戶留存率。
不僅如此,艾瑞後續還進行了創新模式的轉型:
ü 基於敏捷商業智慧工具,艾瑞構建了新型的SaaS平臺,進一步提升使用者體驗,為客戶提供直觀可交互的分析展現報告
ü 通過SaaS的帳號銷售模式帶來穩定的長期可持續收入,改變了原先基於一個個獨立專案的營收模式
ü 艾瑞的價值描述從媒體/諮詢服務公司向提供大資料服務的互聯網應用供應商轉變,大幅提升資本市場價值
ü 旗下子機構迅速跟進敏捷商業智慧工具的使用和新模式的改變
這是一場新的變革,大資料時代,湧現無數的資料掘金者,也需要有人來提供好鏟子。