端到端：IBM大資料方案解析

從IBM的大資料平臺框架和應用程式解決方案可以看出，其中大資料平臺包括4大部分：資訊整合與治理元件、大資料的核心處理平臺（包括基於開源Apache Hadoop的框架而實現的BigInsights平臺、流計算平臺、資料倉儲 、語境搜索等四部分）、加速器，以及包含視覺化與發現、應用程式開發、系統管理的上層應用。

IBM軟體集團大中華區資訊管理軟體總經理盧偉權先生表示，除了傳統上提到的大資料量(Volume)、多樣性(Variety)、速度(Velocity)之外，資料的真實性(Veracity)在未來的大資料應用中會越來越重要。 「社交資料、企業內容、交易與應用資料等，超越傳統的資料來源，這些都需要有效的資訊治理來確保其真實性及安全性。 」他說，「IBM除了可以對傳統的資料倉儲和資料資訊進行管控和審計，也可以對來自不同資訊源的大資料資訊進行真實性審核並實現有效管控，這也是IBM在業界特別強于其他廠商重要的維度。 」

據悉，實現資訊整合和治理的元件是Guardium，其資料治理部分有三大特色：首先，其主資料管理能夠將來自不同資料來源的重複資料集中在一起管理;其次，每一個產品裡面都有安全性管理;第三，通過一個整合的平臺進行管理。 目前，Guardium能夠管理包括DB2、Netezza、Oracle、Sybase、Informix、SQLServer、SharePoint、Teradata、MySQL等在內的軟體資料。

在此之上是IBM的BigInsights平臺，此方案基於開源Apache Hadoop的框架實現，並增加了包括管理能力、工作流、安全管理等能力，並融入了IBM研究實驗室的獨特和領先的資料分析、 機器學習技術以及文本資料分析挖掘。 IBM表示，所有這些增強都是為了更好的使得該方案能適用于複雜的，海量資料的分析。 「Hadoop平臺上並沒有相應的管理工具，也沒有將不同的資料進行匯總的功能。 」盧偉權說，「IBM借用過去幾十年在資料庫領域的經驗，將資料庫的管理辦法也移植到大資料管理平臺上，讓Hadoop平臺的可用性、可管理性、安全性都提高了很多。 」根據不完全統計，IBM在Hadoop平臺上至少新增了100個功能。

不僅如此，BigInsights不僅支援目前最流行的x86平臺，也能支援性能強勁的Power平臺。 「借助為Power平臺優化的Linux系統，BigInsights能夠在Power System上良好地運行。 」盧偉權說，「這就使大資料方案在分散式處理能力的同時，還能充分享受到Power系統的高性能。 」IBM大中華區軟體事業部銀行業解決方案高級顧問陳劍補充說，「IBM的BigInsights方案是非常開放，不僅能夠支援標準Hadoop，也能支援一些主流Hadoop發行版本，例如Cloudera Hadoop。 這就意味著客戶可以從協力廠商平滑地移動到IBM企業級Hadoop平臺上。 」作為對比，Oracle的大資料方案，明確要求應用Oracle公司優化過的Hadoop版本。

不過，「BigInsights並不是對資料倉儲的替換方案，它是對傳統資料倉儲的一種補充和延伸，整體構成一個更廣義的Internet級別的海量資料倉儲。 」陳劍先生說。