標籤:
大資料等同於資料倉儲嗎?
如前所述,商業銀行是否具備巨量資料能力,應依據資料及資料分析系統所發揮的具體效用來判斷。以“顯著提升資料分析和商業決策的效率”,“顯著提高對客戶的理解與認知能力”,“低成本、批量地實現較高水準的個人化客戶服務”三條標準來衡量,目前商業銀行資料倉儲建設還需在以下幾個方面加以強化。
建設異構的資料倉儲平台。多年來,商業銀行的資料倉儲以儲存業務、交易資料為主,因此採購了儲存成本較高的專業資料倉儲服務,資料在進入倉庫之前的ETL規則相對比較嚴格,並採用了“時間換空間”的策略進行主題拆分以節約儲存空間,這就導致在執行諸如交易鏈恢複、交易情境還原等分析任務時消耗較高的計算資源,降低整體的分析效率。與使用者行為資料緊密相關的日誌資料,具有典型的“資料量大、頻度高但價值密度低”的特點,可針對這一需求,搭建低成本的PC叢集、記憶體資料庫等,與既有的資料倉儲融合起來,構成對資料來源和分析端透明的異構資料倉儲,提高其響應速度和處理能力。
搭建業務指標提取邏輯的共用平台。目前商業銀行基礎資料的標準化工作已經取得了長足的進展,但在實際應用中,尚存在“商務邏輯資訊孤島”現象(即由於缺乏一個共用平台,而造成不同的分析師之間無法互連業務指標的提取邏輯,每個分析師、每個資料分析部門就形成了一座座孤島)。這一現象不僅造成業務指標“多態”問題,也誘發了資料倉儲訪問請求的重複提交,影響資料分析的效率和準確性,因此需儘快搭建許可權控制合理的業務指標提取邏輯分享平台,解決“商務邏輯資訊孤島”問題。
建立由資訊治理部門主導、以業務部門為中心的大資料創新立項機制。大資料應用要求盡量壓縮資料分析業務鏈條,進一步提高具體業務與資料分析環節結合的緊密程度,對此,可以探索建立由資訊治理部門主導、以業務部門為中心的大資料創新立項機制。簡言之,就是將資料分析師融入具體業務部門,由資料分析師和具體業務部門共同發起大資料應用的創新項目立項,經資訊治理部門審批後,給予相應的計算資源,並依據資料應用項目在具體業務中產生的效果進行評估和激勵。
大資料只需要海杜普平台嗎?
Apache 軟體基金會(ASF)旗下的海杜普(Hadoop)開源項目對於大資料應用無疑有著巨大的推動作用,基於Hadoop的HDFS系統也是目前主流大資料平台的重要基礎設施,那麼是不是有了Hadoop平台,商業銀行就擁有了大資料處理能力了呢?
首先,從軟硬體平台的完備性來看,還需持續投入,配置更多的軟體模組,以提升巨量資料分析平台的能力。Hadoop只是巨量資料分析平台的基礎設施,除了基於Hadoop及Yarn的Hive、HBase、Pig、Storm之外,mahout、Hadoop-R、Hadoop-weka等資料分析、資料採礦套件對於大資料分析也是必不可少的,另外速度更快、效能更高的Spark體系也在互連網企業獲得了成功的應用,值得商業銀行關注和借鑒。
其次,從資料的來源來看,還需改造前端,以擷取更多維度、更高頻次、更細粒度的資料。商業銀行的資料分析系統長期以來重視業務資料的儲存,而對於系統運行狀態的日誌、客戶個人資訊的收集並不重視,而這些資訊恰恰是大資料分析得以理解客戶、排查業務問題的關鍵所在。因此,商業銀行需要系統性地進行應用前端改造,借鑒互連網企業、電商企業的做法,設法擷取更多維度、更高頻次、更細粒度的資料,更好地滿足大資料分析對資料來源的需求。
最後,從項目的執行過程來看,還須形成“資料分析+業務應用”的資料分析模式,以迭代方式最佳化分析結果和具體業務。傳統的BI模式下,資料分析的商務程序可以概括為:接受業務部門提出的分析需求=>資料分析=>形成報告。而大資料分析的很多項目需要資料分析師與業務人員一起進行持續迭代,有的項目甚至很難確立一個明確的終止時間點(例如電商的推薦系統一般由一個團隊持續最佳化),這就需要商業銀行能夠允許在特定的大資料分析項目上,採取“資料分析+業務應用”的資料分析模式,以迭代方式最佳化分析結果和具體業務。
可見,Hadoop平台並不是商業銀行具備巨量資料能力的充要條件,商業銀行不僅需要在軟硬體平台上持續投入,還需要在前端設計、資料分析模式等方面加以改造,才能更加適應大資料分析的要求。
大資料只是資料分析部門的事?
如前所述,巨量資料能力是以資料分析為基礎的,融合商業決策、客戶感知、個人化服務為一體的綜合競爭力,因此,巨量資料能力建設就不應僅由資料分析部門來承擔。
要從戰略層面將巨量資料能力建設納入發展規劃。應做好頂層設計,把巨量資料能力建設與資訊化銀行建設結合起來,與線上線下一體化建設結合起來,與互連網金融發展戰略結合起來,協同業務、渠道、科技、資料分析等多個部門,做好頂層設計和統籌規劃,形成“全員大資料”的氛圍,從資料來源梳理、資料分析平台搭建、分析模式確立、外部資料交換規則等多個層次制定明確的方針與操作標準,加快巨量資料能力建設的進度。
要重視資料分析流程的效率提升。大資料分析的效用大小,很大程度上取決於資料的活性以及分析結果投入具體業務的速度,因此,要儘可能壓縮傳統BI的業務鏈條。可在電子渠道和自助渠道儘可能地實現資料擷取與分析結果應用的一體化(例如,基於客戶個性的產品關聯推薦、基於情境的即時定價、自助裝置介面個人化自適應等),也可在傳統的BI領域中,應用大資料的處理模式,以高即時性的中間資料層為媒介,建立效率更高、即時性更強、管理者自訂程度更深的商業智慧系統,實現商業報表的即時化、移動化、定製化。
要重視人才儲備和技術積累。大資料技術的發展日新月異,資料的人才儲備和技術積累卻不能一蹴而就,需要相當力度的持續投入。人才儲備方面,應本著“引進一批,培養一批,儲備一批”的原則,引進一小批高層次技術人才,通過具體的項目實施,培養大量的存量技術人員,並通過面向高校和社會的大資料技術競賽、資助開源社區等方式,形成廣泛而有效人才儲備。技術積累方面,應按照“開放並包,為我所用”的思路,組成大資料預研團隊,積極開展開源項目的篩選、驗證、吸收工作,沿著“引入並消化大資料開源項目—資助大資料開源項目—提出並主導大資料開源項目”的路徑,不斷強化自身在大資料技術方面的優勢,形成自身的核心競爭力。
【瞭解更多商業智慧行業資訊,商業智慧解決方案以及商業智慧軟體下載請訪問FineBI商業智慧官網www.finebi.com】
商業銀行大資料六問六策(2)