一周實現大資料視覺效果分析——敏捷BI助艾瑞諮詢集團實現互連網的大資料分析

標籤：大資料   bi   艾瑞諮詢集團   互連網   

相對傳統分析方法，通過敏捷BI和Hadoop的互補，艾瑞諮詢集團的業務效率獲得數倍的提升：線下報告交付周期從3至4周縮短至小於1周，軟體交付從半年縮短至一個月。

　　當前，一提到大資料人們就會想Hadoop，它似乎成為大資料的“代言人”。不可否認，Hadoop在叢集擴充性和成本上都有巨大的優勢，但是，Hadoop並不適合做即時分析系統。

　　因此，很多企業都會利用Hadoop實現資料存放區，再通過其他工具實現對大資料的高速捕獲和即時分析。這裡，我們將通過艾瑞諮詢集團的一個真實案例，解讀一下敏捷BI如何和Hadoop進行互補，協助其實現互連網大資料分析的。

　　定製化項目效率低下

　　艾瑞諮詢集團(iResearch)是一家專註於網路媒體、電子商務、網路遊戲、無線增值等新經濟領域，深入研究和瞭解消費者行為，並為網路行業和傳統行業客戶提供市場調查研究和戰略諮詢服務的專業市場調研機構。

　　目前，艾瑞諮詢集團可以向企業提供線下報告和軟體兩種定製化諮詢報表服務。但是，企業客戶的定製化需求非常多變，艾瑞諮詢集團產生一份線下報告交付周期需要3至4周，提供軟體的交付周期則需要半年。再加上項目所需人工成本升高、迭代周期延長，艾瑞諮詢集團往往不敢承接太多定製化項目。

　　通過調研，筆者發現了艾瑞諮詢集團的真正需求：根據時間維度和網站匯總對使用者的來源地區、來路網域名稱、頁面訪問次數、停留時間、有效訪問次數、跳出率、回訪者、新訪問者、回訪次數和回訪相隔天數等相關資料進行統計分析，並且還能夠在動態添加條件之後，通過對監測使用者行為獲得的資料進行分析，以最終得出更加詳細、清楚的使用者行為習慣。

　　因此，艾瑞諮詢集團迫切需要一種更加敏捷、高效的大資料分析工具提升定製化業務的效率。

　　大資料面前：敏捷BI PK傳統BI

　　在解決艾瑞諮詢集團面臨的難題時，傳統BI的做法是，IT人員事先根據需求分析進行建模，建好二次表或打Cube並提前匯總好資料，業務人員才能在前端查看到分析結果的報表。雖然這種做法很成熟，但是解決不了艾瑞諮詢集團的難題。

　　首先，業務人員查看的報表相對靜態，分析的維度和度量的計算方式已在建模時預先設定好，不能更改。例如，定好了求和或求平均數，再想改成求方差必須再去修改模型。

　　其次，分析需求變更時，業務人員不能直接調整報表，需要IT人員重建立模或修改已有分析模型，耗時較長，響應速度較慢。

　　最後，有些企業的資料量很小，也需要按照此流程和架構來進行大費周折的資料分析。

　　造成這些問題的本質原因是，過去的技術架構針對海量資料的計算能力不足，企業使用者需要通過建模、二次表、Cube提前進行資料運算匯總。

　　艾瑞諮詢集團希望為企業客戶提交這樣一份分析報告，不僅能看還能動態分析。對於艾瑞諮詢集團來說，資料展現應該是起點而不是終點。看到了資料，要能互動式分析、深入向下挖掘，要能發現問題並找到答案，還要能採取行動。與資料互動的過程要足夠快，如果使用者每次點擊需要等三五分鐘才出結果，就無法進行互動分析。

　　並且，分析報告應能讓非IT部門的同事直接在分析平台上做出來。不能把所有的分析報告需求都提交到IT部門，這樣會嚴重增加IT部門的工作負擔。同時，敏捷BI的實施和操作要簡單化，讓業務人員可直接使用。

　　同時，分析報告需求經常需要牽涉到資料層的改動，需要IT部門去改進資料層和業務層，傳統BI平台需要一兩個月才能完成模型梳理。敏捷BI無需事先建模，可以在分析過程中靈活調整分析維度和報表展現，需求變更可以在一天之內響應，提升企業的洞察力決策力。

　　與傳統BI的重量建模、統一視圖不同，敏捷BI採取輕量建模、N個視圖的方法，不建二次表和Cube，資料匯入後可以直接進行分析，並且業務人員可以即時調整分析的維度和度量的計算方式，極大地增加了靈活性，真正做到和資料對話。

　　既然有這麼便捷的方式，為何傳統BI不採用這種架構呢?那是因為，傳統技術架構沒有引入大資料技術，面對海量資料無法在使用者點擊後的幾秒內就展現企業客戶需要的分析結果，因此必須通過建模提前把資料匯總好，才能保證分析報表展現時的速度。

　　因此，實現敏捷BI的前提是採用新架構處理資料，其涉及的技術包括分散式運算、記憶體計算、列儲存、庫內計算等。敏捷BI可以通過更低的成本、更短的上線周期，快速讓企業洞察到資料的含義和價值。

650) this.width=650;" src="http://www.ciw.com.cn/Portals/52/7(259).jpg" />

　　業務效率數倍提升

　　深入研究艾瑞諮詢集團要分析的資料，筆者發現，艾瑞諮詢集團每天要分析的資料量達幾千萬條，且不同企業客戶的分析需求各不相同。因此，複雜多變的多維度分析需求對分析工具的分析效能提出了更高的挑戰，而傳統的資料庫和Hadoop架構已經無法滿足高效能和即時分析的需求。

　　為此，艾瑞諮詢集團考察過國外一些知名的產品，但是當他們獲知產品的價格和後續的服務費用之後只能放棄。而國內大多數的分析工具大多是上一代BI，需事先建模再進行分析，難以應對靈活的多維度分析變化需求，且針對大資料量的處理能力不能滿足要求。

　　最終，艾瑞諮詢集團選擇了永洪敏捷BI技術。當艾瑞諮詢集團將三個月的細節資料(約50億條)匯入敏捷BI系統，直接就可以展現出定製分析報告。對比原先基於Excel和SQL編程的分析方法，艾瑞諮詢集團的業務效率獲得數倍的提升：線下報告交付周期從3至4周縮短至小於1周，軟體交付從半年縮短至一個月。

　　同時，艾瑞諮詢集團原來由於擔心需求變化導致沒有能力交付的很多項目被收入囊中。採用敏捷BI工具後，艾瑞諮詢集團可以在幾天內快速搭建原型向客戶展示，任意的需求變更都可以一周內調整完畢。這種快速原型試錯的方式，使得艾瑞諮詢集團有能力承接很多此類項目。

　　由於業務效率的極大提升，有能力承接更多的項目，艾瑞諮詢集團的收入空間也出現了數倍的增長。與此同時，艾瑞諮詢集團的客戶滿意度也穩步提升。

　　不僅如此，為了提供更加直觀可互動的分析報告，提升企業使用者體驗，艾瑞諮詢集團基于敏捷BI工具，構建了一個新型SaaS平台。艾瑞諮詢集團把企業客戶用Hadoop架構儲存的資料，通過敏捷BI提供的介面匯入到資料集市內，然後通過敏捷BI快速呈現出結果。

　　事實上，Hadoop和敏捷BI都有各自適用的不同業務情境，兩者是相互補充的關係。當前，很多企業都採用Hadoop實現資料的儲存，然後把Hadoop資料匯入敏捷BI基於分布式記憶體計算的高效能資料集市中，之後再進行資料視覺效果分析。鑒於現在Hadoop在企業的應用相當廣泛，永洪敏捷BI產品也支援Hadoop資料來源的串連。

　　艾瑞諮詢集團合理利用了自己以前花費人力和資金搭建起來的Hadoop架構，使得他們之前的投入沒有浪費。但是，對於以前沒有Hadoop架構的企業來說，永洪敏捷BI也可以很好地整合。

　　通過銷售SaaS帳號也為艾瑞諮詢集團新增一項長期穩定的收入，一改原來僅僅依靠獨立項目的單一業務模式。艾瑞諮詢集團旗下子機構迅速跟進敏捷BI的使用和新模式的改變。同時，SaaS平台的構建也使得艾瑞諮詢集團將自己的價值定位從媒體/諮詢服務公司向提供巨量資料服務的互連網應用供應商轉變，大幅提升了公司在資本市場的價值。

本文出自 “敏捷BI” 部落格，請務必保留此出處http://9220305.blog.51cto.com/9210305/1542036