紐交所的「大資料」之旅

紐交所作為世界上最大的股票交易所，它面臨了一系列的大資料挑戰：

處理輸入檔數達到4400個；記錄多達145+不同類型的交易記錄（或事件）；總的交易量是21億；輸出檔案總數600000，輸出記錄總數為51億。

此外每個ETL人物都涉及加工、轉化、濃縮和驗證DBK交易證券，要同時滿足300位分析師的即時資料分析需求，最重要的是要保障成功率為99.999%。

在這樣的大資料挑戰下，紐交所需要找到一個合適的資料倉儲，來説明各部門實現與股票相關的各類交易要求。 所以紐交所分析決定上馬一個大資料系統來解決這些問題。 分析過市場上眾多與大資料相關的資料倉儲產品後，紐交所選擇了Netezza。

敲定了實施系統後，接下來就是選擇實施夥伴了，Gemini Systems成立于1987年，是全球領先的IT諮詢公司。 公司致力於為全球客戶提供業務分析、基礎架構設計、應用開發、系統整合、運營支援和維護等全面技術解決方案。

Gemini Systems與Netezza的合作由來已久，此次的合作也變得順理成章，因為Gemini十分擅長整合資源，説明客戶實施系統設計、整合和應用開發等專案。

Gemini Systems（香港）有限公司CEO梁本仁（Simon Leung）先生表示，Netezza與紐交所的合作關係已經持續多年，一些部門，比如交易所的監管體系，市場資料部門，公司負責超過90%以上應用程式的開發。 特別是市場的監管，有非常多的應用需要用到公司的產品。

僅僅三個月之後，Gemini 就成功把Netezza系統交付實施。 在這三個月裡，Gemini遷移了26TB的資料，並且開始將一些應用放在Netezza上實施。 客戶在使用了這個系統後，對它有很好的回饋，包括：簡單性、實施的快速以及和紐交所路線圖的匹配。 當然，這個系統的實施成功也與紐交所本身密不可分。 他們是一家超過200年的公司，在資料處理方面有十分豐富的經驗，不同業務線雖然面臨巨大的資料挑戰，但是在Gemini與IBM Netezza的説明下，很快解決了處理資料的工作。

具體來說，梁本仁表示，紐交所的不同部門，包括金融、市場、資料，合規性的部門，他們的平臺都是在用Netezza，總共有14個Netezza系統在整個紐交所為他們服務，而這些系統其實是在不同的地區，比如在紐約、芝加哥、 倫敦都有系統。

紐交所主要是用了Netezza強大的分析功能幫他們解決不斷出現的新問題，因為他們要不斷推出新的產品到市場上，包括二級市場上的新的產品。

紐交所僅僅是Netezza的眾多客戶之一，IBM軟體集團大中華區Netezza銷售總監肖冰表示Netezza作為最早的資料倉儲一體機，在進入中國兩年後有很強的勢頭。 在大資料時代，其高性能、低成本、易操作、可擴展和快速部署等技術優勢成為多個行業的首選。 肖冰表示，Netezza特別適合金融、製造、零售等行業...... 在紐交所的例子中，客戶從Oracle平臺的遷移也驗證了Netezza能夠高度符合其對於大資料的需求。

除了Gemini豐富的實施經驗，IBM強大的技術實力，神州數碼也加入到了Netezza在國內的推廣戰隊，神州數碼作為Netezza在國內的合作夥伴，在中國將會發揮管道的資源優勢，為現在的使用者帶來Netezza的解決方案。 神州數碼在全國一共有接近40家的DEMO中心，完全是用的IBM產品的DEMO中心接近20家，合作之後我們也把Netezza成功裝在了DEMO中心裡面，現在第一代已經正式運行完畢。 這樣會和我們的合作夥伴、客戶，他們通過遠端或者現場和技術人員交流，可以更直觀地感受到Netezza的性能，可以感受到Netezza的運行速度，包括操控性，可能會有更直觀的感受。

據神州數碼系統技術集團STG IBM軟體事業部總經理王煒介紹，2012到2014年，神州數碼和IBM將從四個方面來加強合作和投入。 第一方面是人員，打造和提升Netezza軟體銷售團隊;第二方面是區域、行業拓展，同合作夥伴一起來打造Netezza的進一步發展空間;協力廠商面是加大市場投入，讓更多人瞭解和知道Netezza; 第四方面是在技術人員和銷售人員方面進行配比，根據業務的發展進行更深的投入，最終把Netezza做得更好。

以上三者的強強聯合，相信Netezza在中國的生態系統會更具生命力，也會讓中國使用者更快、更好的接觸到Netezza的大資料之能。