民生銀行開創大資料之路

日前，中國民生銀行大資料項目目正式啟動。 該專案由IBM和巨杉資料庫公司(SequoiaDB)攜手，通過IBM BigInsights大資料解決方案和企業級NoSQL資料庫SequoiaDB為民生銀行搭建低成本、高性能、高可靠且水準擴張的資料平臺， 説明民生銀行通過大資料分析應對金融業的大資料挑戰，實現深刻的行業洞察。 該平臺使用IBM BigInsights與合作夥伴SequoiaDB的完整集成，全面提升民生銀行作為金融業領導者在大資料時代的價值。

競爭驅使應用

實際上，民生銀行早在2010年就提出了「大資料」。 民生銀行資料應用中心負責人袁春光回憶，在某技術交流中通過同事介紹，他頭一次接觸到這個概念。 通過查相關資料，袁春光感覺大資料離他們很遙遠。

但是，隨著時間推移一切發生了改變。 2012年，民生銀行年度總經上，袁春光發現自己的領導居然提到重要一點，要探索商務智慧分析，以及大資料如何推動民生銀行業務競爭力。 這對袁春光觸動很大，畢竟雖然從科技部門角度雖然與大資料有一段距離，但從領導業務層面卻已提出了需求。

在高層領導的重視下，民生銀行科技部門開始行動，在2013年進行組織機構的調整，目前開始籌建資料中研究中心，同時要樹立資料科學家崗位。

其實從前年、去年一直到今年，由營業單位傳導到科技部門，銀行業壓力在不斷增強。 尤其是來自于業務前端對技術部門的挑戰。

當前整個金融銀行業大環境面臨著來自于本行業乃至跨行業的多方競爭壓力。 袁春光說：「現在傳統銀行業在業務方面受到的壓力非常大，包括利率市場化、各種其他行業正面競爭及經濟下行對銀行風險的壓力等等業務壓力。 」

只要有了平臺，技術手段可以靈活多樣的予以實踐;所以需求如何以專業化的方式快速提出，這對有強烈需求的營業單位是最大挑戰。 畢竟他們沒有建立專業(IT)的知識。

實際上為增強競爭能力來應對各種壓力，民生銀行也採取諸多措施，比如提升分析能力，實現預測及擁有洞察力，包括預測各種各樣的行為及風險。 繼而基於預測採取措施，如何時何種作行銷，重點關注哪些的業務，甚至要採取什麼法律手段等等，以此減小風險提高競爭力。

這一切都基於銀行資料。 它包括傳統銀據和基於互聯網的資料。 當前傳統資料量增勢兇猛，民生銀行半年的資料增長量就達到30%。

來自于電子商務類型的資料對銀行業也同樣重要。 雖然銀行在這方面的業務在弱化，但是這部分資料因包括個人及企業客戶參與度的增多而變得越來越重要。

以使用者為中心圍繞使用者金融行為及金融狀態的這部分更為全面的資料，如使用者生少、地理資訊、外延交易行業等的資料，銀行對這類資料的分析也越來越重視。

袁春光說：「如何使這些不同類型的資料產生業務價值，大資料技術順勢而來。 其實不是大資料給我們的衝擊而是為業務給我們衝擊，競爭使得傳統方法也不適應了。 」

的確，金融業面臨著前所未有的科技挑戰，面對激增的海量資料，如何實現分析洞察，將是行業創新和轉型的關鍵。

民生銀行作為國內最早一批部署大資料分析的銀行之一，一直肯定資料分析對企業價值的巨大驅動作用。

本次IBM與巨杉資料庫的合作，IBM BigInsights針對企業級的強大易用方案以及IBM在金融業大資料分析領域豐富的經驗，為企業實現以客戶為核心業務發展的提供了支援，也為搭建上層的精細化與智慧化應用平臺奠定了基礎。

互聯網基因的融合

作為國內銀行業第一批涉足大資料技術的民生銀行，在使用現有的NoSQL產品(如mongoDB)的過程中發現其缺乏很多企業級功能，例如缺乏事物和SQL支援、與Hadoop系統的整合不緊密等。

袁春光也發現，大資料是一個開放的平臺，大部分是基於互聯網公司的開源的產品而生，他在經過多方實踐後感覺，銀行是不能完全照搬互聯網原生技術模式，新技術平臺必須與傳統行業的企業級特性相融合。 經歷了近兩年應用系統上線，民生銀行科技部門也積累了經驗，並也成立了專門的大資料工程師團隊，積極培養了大批大資料後備力量。

「從技術上來看，大資料技術已在工程師團隊裡深入人心，但是距離完美的應用大資料技術還有段距離。 」 巨杉資料庫CTO王濤說。

擁有企業級NoSQL資料庫產品巨杉資料庫，致力於將已經被廣泛應用於互聯網領域中的NoSQL推入企業級市場。 SequoiaDB通過其技術優勢，彌補了現有大部分NoSQL對企業級功能支援不足的缺陷，完全滿足了民生銀行銀行對下一代大資料平臺的技術需求。 目前SequoiaDB已經在民生銀行銀行大資料平臺得到廣泛應用。

SequoiaDB優勢的即時查詢、聯邦查詢功能、針對Hadoop強大的技術支援實現了完整的集成。 BigInsights與SequoiaDB良好的擴充性和成本優勢，強化了企業級功能支援，滿足了批量分析與即時查詢的需求，使Hadoop功能如虎添翼。 使新的集成資料平臺解決方案在眾多競爭產品中脫穎而出。 作為合作夥伴，巨杉資料庫將與IBM在更多領域攜手，打造更多針對不同行業的大資料解決方案。

王濤說：「我們可以和IBM BigInsights形成非常好的互補，比如BigInsights比較專注分析，它的分析能力非常強，我們這邊是NoSQL資料庫，同時能夠做非常即時的資料查詢，在海量資料中進行快速的檢索和資料定位 ，BigInsights從這兩邊進行一個整合，當形成完美整合時可以提供給民生銀行企業一個360度的任意類型的業務，包括即時訪問和 批量資料的分析。 」

從民生銀行案例延伸開來，王濤認為當前行業的挑戰主要集中于技術和文化兩方面。 傳統業務如何與大資料對接? DBA或商務分析師在用傳統BI分析方式上必須轉換大資料分析思路。

DBA其實面臨來自于傳統技術思維及業務思路兩方面的挑戰。 新的大資料架是以互聯網軟體為基礎，比如Hadoop是由雅虎的人研究出來;這對於值根于Oracle資料庫、DB2資料庫思維的DBA來說，傳統思維有其必然的局限。 他們必須跳出原來的思維框架更具想像力發散性。

思維方式的改變其實正是傳統資料分析師的難題，技術創新和思維模式的創新並重才能適應當前大資料落地需求。

應用趨向業務洞察

在過去十年間，國內銀行的資產規模隨著經濟的快速發展，已經達到並超出了國際同行業的水準。 而未來發展仍將面臨很多複雜的挑戰：來自中國經濟增長模式的根本性轉變、新客戶群體的興起、激烈的行業競爭以及來自銀行自身價值創造的業績壓力。 金融業需要借助對業務的分析與優化，推動自身的轉型與創新。

民生銀行業務快速增長帶來的激增資料對業務洞察能力不斷提出新的要求。 傳統粗放式的客戶行銷策略已經不足以説明銀行實現更快速業務的增長。 民生銀行亟需充分整合客戶資料，通過精准的行銷設計降低客戶流失率，提高忠誠度;借助大資料技術對不同管道來源的供應商、客戶的交易行為進行全面分析，實現鏈式反應;搭建有效的資料模型，為客戶提供全方位管家式的非金融服務。

在此次合作中，IBM BigInsights基於開源Apache Hadoop的強大的安全易用性，説明民生銀行完善交易流水查詢分析系統, 產業鏈金融管理系統，以及私人銀行產品貨架管理系統。

在應對金融業巨大資訊量帶來的4V挑戰中，BigInsights體現了諸多優勢。 如隨著業務的細化和企業規模的增加，民生銀行面對的計算量呈數量級增加。 IBM BigInsights能夠應對大規模的靜態原始資料分析，提供多節點的分散式運算，提升資料處理能力。 同時，BigInsights大規模平行線性伸縮能力，能夠應對海量文本的處理。

　　民生銀行自2012年部署Hadoop計算平臺以來，資料分析能力得以提升，但在處理多樣性資料時仍受開發週期限制。 IBM BigInsights集成了具備強大擴充性的結構化和半結構化處理描述性語言JAQL，可以處理各種類型的資料分析，在不同的應用場景中，實現全面的資料分析。 特別是內置的集群內文本語義分析功能，為多種來源的文本提供高性能的處理、標注及分析功能。