顏陽：企業級資料中心的演變之路及證券業大資料應用

第2屆「2012中國資料中心產業發展大會」于20112年月17日在北京舉行，在下午的雲計算與靈活高效的IT基礎設施分論壇上，中國民族證券資訊技術部總經理顏陽博士做了「企業級資料中心的演變之路及證券業大資料應用」主題演講。 以下是演講全文。

中國民族證券資訊技術部總經理顏陽博士

顏陽：大家下午好。 我來自于金融行業，我從使用者的角度談一談雲計算相關的工作，接下來我把我們推進雲計算，特別是大資料的運用相關的工作，尤其去年我主持了證券行業共有雲相關的工作給大家做一個共用。

企業級資料中心，在基礎層面，很多企業都在研究雲計算的工作，這裡面也包括了虛擬化的過程。 在具體做的時候並不難，但是難的是把它做得更完整，而且很多標準化和正常化的工作，比如我們在（英語）的推進過程中間，由於雲計算和虛擬化引進以後，（英語）一些標準的修改，在企業推進雲計算的過程中間，有一個工作， 這幾年在我們金融企業做的比較多的，首先要建立企業級資料中心，因為資源分享它可以把很多職能部門，很多業務鏈條通過業務的方式整合起來，可能會對業務帶來一些衝擊。 這是我們這幾年工作的總結，在推的過程中是非常艱辛的。

第一為什麼要建立資料中心？ 它是集中化管理的必然。 包括管理，包括業務，包括技術，它是一個完整的整合。

第二分離的訴求，在我們的推進過程中間，不光要有集成，而且要根據各方面的規則要進行分離，不然的話效率達不到最滿意。

第三，資料的統一，使得相互之間的交換有一個依據。

第四，通過資料整合，我們可以得到相關業務的創新，很多的資料是埋藏在我們地下的資源，必須要統一挖掘，才能使我們隱含的業務的價值才能挖掘出來。

第五，決策的依據，給決策部門提供相關的依據。

第二，怎麼去建企業級資料中心，首先這個資料中心一定要是高效的，怎麼樣打造高效的平臺？ 一定要選用成熟的平臺，現在很多的技術都走在業務的前沿，關鍵是我們怎麼樣用現有成熟的技術來為我們的業務服務。 資料模型也是很重要的，很多是由應用系統演變為資料中心，它的問題是拓展性很難。 以前的資料中心是由公共系統引發過來的，它畢竟是控制我們現有使用者相關的資料操作，和我們現有人員的操作，我們的潛在客戶一定是納入到我們這個企業的，所以我們把銀行的金融模型引入進來，建立資料中心是非常重要的。 資料中心一定是分佈建設的一個過程。

第三個原則，我們資料中心有哪些內容，第一，要進行資料的整理，第二用我們的資料提供服務。 第三，我們可以通過資料的整合為我們的業務提供支援，為我們的決策提供依據。 我們在建設的過程中，你IT部門要推進一個專案，或者建設一個龐大的資料中心也好，它要通過立項，做資料中心是相對比較抽象的，而且在短期內是不會產生效益的，就像我們在做一個高樓，最初挖地基的時候你看是不到它的外觀。

你前期的立項的依據要有非常充分的理由，才能推進這項工作。 所以這個3W原則是我們在這些年推進資料中心建設中間的一個完整的描述。

在企業級資料中心的建設，我們選擇什麼樣一個平臺？ 我們的IB是什麼？ 我們的ETL是什麼？ 當時08年的時候我們可選擇的東西很少，現在開元的東西很多，可選擇的餘地很大。 我們在中國，在金融行業第一個引入NPP架構這樣一個資料中心，資料倉儲這樣一個架構，現在我們整個操作的效率，就是查詢的時間每秒鐘可以上億條記錄就是幾秒鐘之內就可以出來，而且你在進行資料切片越複雜，時間增長並不多。 所以使我們走上一條跟雲計算將來的架構對接這樣一個非常光明的大路。

它是一個完整的解決方案，我們在推進過程中，技術平臺的選擇它是非常重要的。 大金融的資訊應用，銀行還是走得比較前面的，我們是把金融資料模型用證券行業做了一個融合，這對於我們創新業務的發展，基本上不需要做什麼修改了。

這面一個客戶體驗，我們很多的工具是針對我們技術人員的，我們要開放給我們客戶的應用，一定要考慮客戶的體驗，我們把一些工具和開發平臺聯繫在一起，可以用我們客戶很好體驗的這種工具來得到相關的應用的展示。

在企業資料中心裡面還有一個比較關注的，就是安全性，第一就是我們資料數量的管理，很可能出現資料的不完整，資料的資訊出現錯誤的情況，這樣你採取什麼樣的機制來保證我們的資料是完整的，一致的，而且是準確的。 這裡面在設計的時候，都是有相關的技巧在裡面。

第二，資料從各個結點之間的調度，它必須要有相應的規則。 比如從資料來源再到我們的核心的資料層，再到我們資料倉儲，都有相關的規則來推進。

MPP架構也是我們當今在雲計算中比較流行的這種MPP架構，包括新浪各大網站裡面，需要進行分析運算的架構，都是採用這樣一個模式。 我們現在利用（英語）來做這個資料倉儲的時候，就用（英語），我們就用了兩個結點，像淘寶有將近280多個結點，我們兩個結點基本上對於我們中性的券商企業就足夠了，所以擴充性非常好。 在這種架構裡面，一般的程式設計人員就可以進行相互的程式設計。 它和我們傳統的方式是不一樣的，資料可以是分塊進行執行的。

前面我介紹了企業級資料中心的狀況，我們證券行業當前的生態環境是這樣的，這幾天是比較好一些，去年我們整個行業裡面109家券商收入是大幅度縮水的，最多的將近縮水了7、80%，平均縮水了將近50%。 整個行業還沒有找到一個比較好的運營模式，在這個過程中發展就有競爭，產生的結果就是白熱化的競爭，採取打折，死拼的方式。

從11年開始，監管部門也看到了一個比較危險的狀態，我們在11年頭出了投顧業務，它改變了行業的狀況，業務有兩個理念，第一，必須進行產品全深度分析的管理，證券行業是沒有產品的，由於產品的引入是可以政變證券行業盈利的模式。 我把產品的生命週期包含了這樣幾個部分，從需求一直到服務跟蹤，這個需要業務管理和技術相關的支援。

另外一個就是客戶的全生命週期管理，包括客戶退出，在我們的行銷過程中間它是非常重要的一個生命週期的一個結點，一個客戶他如果說不在我這裡交易了，他有很多原因，現在我們在網上購物中間有一個大家比較流行的詞叫口碑， 如果一個遠離我們的客戶，退出我們的服務體系的客戶，他給我們一個很好的口碑，帶給我們潛在的客戶，對我們後來是很有好處的。 證券行業也在研究怎麼樣對客戶進行全生命週期的管理，尤其是我們看到在整個行業裡面有這樣一個機遇和挑戰，第一，就是我們的行業將進行產業化升級，由於對客戶進行全生命週期管理，對產品進行全生命週期，就像產業的生產線一樣， 只要我們原材料不一樣，後面出來的產品是不一樣，但是中間的過程是標準化的，由於有了標準化，才能實現產業的規模化，這是我們從工業化這樣一個角度把它應用在金融行業這樣引出來的。

第二個就是敏捷化服務，很多時候IT人員，我們就說業務人員提的需求不全，業務人員說IT人員的反應很慢，這裡面雙方都有道理，但是在實際工作的推進過程中，最終總有一方為主。

第三運維的新理念，這也是從敏捷化服務引出來的，我們IT部門總是一個反應型的，營業單位提出需求，IT部門去做，這是傳統的IT企業的一個做法。 在當今這個時代，特別是像我們網路運營商一樣，他要提到運營的概念，它是屬於IT部門是主動推進的，這個不是一種被動反應的一種方式。 第三點運維的新概念就是這樣來的。

第四，企業級資料中心一定要升級為社會化的資料中心，就是因為企業級的資料中心，大部分的資料是來源於我們的業務系統，實際上它是一個相對封閉的，由於互聯網的發展，它很多外部的資料對我們服務的評價，對我們管理的評價，它的依據更多 ，它給全面。 這樣就勢必將我們現有的企業級的資料中心要升級為社會化的資料中心。

第五，就是大資料的BI。 一會兒我們再講。

金融工業化的產業升級就需要我們有一個標準化，而且要產業化。 敏捷服務是與IT治理有關系的。 我們涉及到的企業級資料中心，它包括了企業的資料倉儲，這來自于我們內部系統，將來一定要打開。

通過我們大資料的商業智慧，就把我們前面的客戶的全生命週期的管理和我們的產品把它對接起來。 我們最近幾年推進金融行業的雲計算的時候，很敏感的話題就是資料，資料憑什麼要放在雲上面，我們客戶的資料都是比較隱私的，有的時候我們在推進雲計算的過程中間，有的時候是過於把安全太強調了。

我舉一個例子，當我們以前沒有錢莊的時候，大部分人是把錢放在一個罐子裡面埋在地下，當錢莊出來的時候，大家覺得把自己的錢放在那裡確實不安全，但是往往是一個專業化服務的團隊給你提供這樣一個資料服務，從某種意義上來講， 它可能比你放在家裡面更安全，這就是為什麼大家的錢很少有人放在家裡面的，都放在銀行。

實際上雲計算也是這樣的，在某些層面上是過於對安全敏感了，在企業推行雲計算的過程中間，一定是一個長期規劃的過程，這裡麵包括業務管理和技術幾個方面，這個圖是我們在去年提出來的，特別是我們在證券行業裡面涉及到一個雲的生態圖， 它有三種形式，第一個是企業的私有雲，企業私有雲並不一定非得放在企業內部裡面，我放在外部，由協力廠商負責管理，它也是一種企業私有雲的一種表現。 我們在一些大型的證券公司將來會用得比較多。

這個是聯盟私有雲，有幾個組織，大家為了一個共同的業務發展目標聚集起來，這樣一個私有雲，為這樣一些組織服務的，將來這種形式可以為一些中小金融企業來進行服務。

這個就是行業雲，它將來可能會比較敏捷，可能涉及到行業雲的資料，包括公有的資料，但是對公有資料的挖掘和分析方式不一樣，將來能夠提供這些服務的一些運營商，就可以在行業雲這方面提供相關的服務。 這就是我們在證券行業裡面企業雲的生態。

在企業雲的中間有一個安全控制的機制，簡單講就是內防、外堵、審計，它對於我們企業雲的一些風險問題我就不講了。

在證券行業裡面我們設計了一個雲存儲的架構，由於有了這樣一個技術的推進，我們就把以前IT部門的救火隊方式轉化為互動的形式，從標準化，規模化的方式，用電腦自動處理的形式，我們就把工作集中在創新的結點上。

下面我講一下大資料的應用，大資料的特性，一般提到大資料，大家更關心是CE，提到大資料就是非結構化，實際上大資料關心它的速度還有它的複雜性。 通過我們建立月前分析這樣一個系統，就把我們的客戶系統，服務體系把它整合起來，比如說我們在制定一個產品的過程中間，我可以把它發佈到我們新媒體上面去，看客戶的反應，這裡面它的來源不光是在我們證券公司做交易的客戶， 不在我們證券公司做交易的客戶，他也可以提出他贊成的，或反對的一些意見和建議，這樣它就更加全面了。 對於月前分析幾個流程是這樣幾個部分，第一一定要確定主題，對於月前分析這樣一個現在的應用方式，它不可能做一個很寬放的一個樸實性的系統，因為中文的語義分析是非常難的，因為中文和英文完全不一樣，英文每個單詞之間有分割的， 中文除了一句話，每個字和詞之間沒有分割，如果說你在截取它的時候，它的位置不一樣產生的含義是不一樣的，非常難。 所以說一定要選取最好的主題。

比如前期公佈了一條消息，製藥方面出了一些問題，這個消息是負面消息，這個對股市是一個打壓的過程。 在對抓取資訊進行一些過濾，在我們的新媒體上有些廣告資訊，它必須要做過濾的。 要對資訊抓取以後要做一些預處理，這個工作做得越好，對我們後面分析的效率越高。

建立相關的模型預分析，大家看到美國的一個片，就是專門講（英語）成長的一個，就是對於大學生照片貼上去然後做一些評價，實際上我們中國有個特色，市場化程度不是很高，人們受輿論的影響很大， 如果有某一個股票對我們大盤的走勢相關的意見是非常的火熱，而且是達到一定的相關性，它一定是對我們的股市是有影響的。 這樣的模型你可以用一些很好的，很簡單的統計都可以算得出來。

通過這種方式最終我們給它發佈出來，這樣就會形成我們內部做一些決策的依據，外部可以形成一些資料的產品，這也是我們在資料中心的建設過程中間做的一個應用，而且這種應用將來可以逐步的把它延伸，跟我們的交易系統關聯起來。

大家如果炒股就知道，有的時候我們看著性情有個股票有一個異動，可能就要打電話問怎麼回事，這個時候我們在網站上已經是可以把資訊採集出來，比如說汶川大地震出來了，我們在分析系統裡面馬上就可以看到，只要你有個提前量， 至少有負面效果的時候我可以先出手，賣個比較好的價格。 但是不一定是非常好的一種方式，用這種方式的推進，一定是一個系統的工程。

在大資料的應用過程中間，我覺得有幾個關鍵點，智慧分詞庫，它一定是一個積累的過程，它一定要有學習的功能，我們在推進的時候，發現它和我們實現出現是相悖的，你一定要對它修改，這樣才能使它更準確。

第二個就是存儲，大資料不能每一個資料都做存儲，因為你沒有這麼大的存儲的空間，而且你一定要跟應用走，比如說我們在做應用的時候，我們不一定把所有抓取的資料都保存下來。

第三，對於結構化與非結構化處理，把它轉化成結構化的資料，利用以前結構化處理的系統就可以實現，短期之內我們就可以用我們的企業級的資料中心做一個漸變。

從產品到服務的跟蹤，我們通過分析可以形成我們的資料產品提供給我們的客戶，可以給客戶提供相關的依據，可以説明他做一些投資建議。

綜合起來，我們在雲計算推進的過程中，它是一個漸進的過程，使得企業要把自身的資訊化要進行相關的規範和一些標準化的梳理，找出適合於我們自身實際應用的一個架構，逐漸與我們當今現在的流行的技術和推進的方式結合起來， 才能達到事半功倍的效果。 這是我和大家分享的內容，謝謝大家。

(責任編輯：蒙遺善)