以務實的態度啟動大資料之旅 充分利用倉庫中的大資料

互聯網巨頭 Google 和 Facebook 相繼通過管理和分析大資料實現了巨額價值，這也促使首席資訊官們不禁發問，新興技術能否在自身企業內創造輝煌成果。 行業分析師預計大資料將以飛快的速度增長，這也在一定程度上鼓勵了這種想法。 Wikibon 預計，到 2015 年大資料超市將由 2012 年的 50 億美元直線躍升超過 300 億美元，到 2017 年更將高達 534 億美元（您可以在此處查看免費報告)。 IDC 則較為保守，他們預計到 2015 年大資料超市將達 169 億美元。 許多 IBM 客戶紛紛利用其資料倉儲（堪稱最大的託管結構資料集合）啟動大資料之旅。 本文將概括介紹在將各種技術融入大資料管理保護傘下之後，企業如何實現真正的業務價值。

部署大資料管理技術

部署管理大資料的技術有：

 企業資料倉儲
 資料倉儲設備
 Apache Hadoop 集群
 基於流資料的日誌分析及複雜事件處理技術
 用於在各管理節點之間移動和集成資料的軟體

IBM 創作團隊在一本名為了解大資料的免費 IBM 電子書中為技術初學者們提供了詳細深刻的指導。

首要步驟是管理大資料。 企業在運用各種演算法分析資料並逐步瞭解資料因果關係的過程中創造價值。 但是，這些分析演算法在計算層面要求嚴格，並且與大規模並行處理硬體架構上運行的資料管理技術相容性最強。

實現資料倉儲現代化

計算架構上部署的許多第一代資料倉儲已經無法滿足大資料分析要求。 通過實現資料倉儲現代化及用 IBM Netezza 資料倉儲設備替換對稱式多重處理硬體上運行的較老的資料庫管理系統，現已有數百家企業應用大資料。

在移動通訊時代中，持續提供高品質網路服務是實現客戶滿意度的基礎，如果客戶不滿意將會轉向競爭對手。 T-Mobile 第一代資料倉儲的規模已經不足以聚合這家公司的資料，因而無法對整個網路事件進行全面瞭解。 40 TB，這個基於 Oracle 的資料倉儲已經超越自身極限，拒絕協助該公司深入瞭解其服務品質。 通過採用 Netezza 源實現資料倉儲現代化，T-Mobile 每天能夠載入 170 億份網路記錄，並且能夠通過分析這些資料深入探究服務品質和客戶滿意度。 該資料倉儲目前共管理 2 PB 資料，為 1,300 個企業使用者提供分析支援，取得了巨大的成功，客戶範圍也超越了原有的網路運營使用者群並擴展至收入保障、計費、市場行銷和客戶服務等領域。 您可以在這裡觀看 T-Mobile 網路技術解決方案部門經理 Christine Twiford 的專訪視頻，他在視頻中詳細介紹了 T-Mobile 公司的大資料之旅。

利用設備增強資料倉儲

銀行及其他金融公司必須對自身的計算資產進行嚴格控制以便遵循行業法規。 鑒於現代電腦系統的分發和網路設定，滿足監管要求堪稱挑戰，而且瞭解各電腦資料促使這項本已非常艱巨的任務變得更加複雜。 與其他行業一樣，銀行業已將目光轉向計算技術以提高庫存控制有效性以及降低成本，但往往只是零打碎敲。 例如，某家銀行從前依賴 40 多個系統共同管理數百 TB 的海量資料。 這種「系統套系統」的技術不僅難以處理而且效率極低。 單是解答某台電腦的配置及其管理的資料這樣一個看似簡單的問題都可能需要經過數周的工作才能完成。

經過資料管理戰略反思後，這家銀行決定創建新型基礎架構主資料中心開展 IBM DB2 與 Netezza 設備協作。 借助 DB2 的巨大可擴充性，這家銀行將此前通過 40 多個系統分發的數百 TB 資料整合至採用通用資料模型的單一集成資料庫。 除資料整合外，DB2 還作為運算元據存儲 (ODS)，以極高的到達率回應簡短查詢。 整合式軟體會將資料從 ODS 快速遷移至 Netezza，以便進行報告和高級分析。 現在，這家銀行的資料配置已在總體治理模型的控制之下，同時其業務也已實現近即時資產清查監控。

搭配使用 Hadoop 與資料倉儲

Hadoop 是一個高度可靠的可擴展式資料處理系統。 其優勢在於無需採用模式即可載入資料，並且能夠使用廉價硬體大規模處理及分析此類非結構化（或多結構1）資料。 Hadoop 可分批次處理資料，它不具有優化程式，也不支援隨機訪問和交互查詢。 這些都是 Netezza.等資料庫系統的優勢。

Edmunds.com（一家網上汽車銷售公司）將 Hadoop（作為資料接收引擎）與其 Netezza 倉庫搭配使用，同時 Netezza Hadoop 配接器還可以在這些系統之間移動資料。 Hadoop 負責分析海量非結構化資料，包括資料倉儲外的文本、語音和推文，將其轉換為關係格式，然後將結構化資料傳輸至 Netezza，以便 Edmunds.com 分析團隊在這裡將社交媒體和消費者回饋整合至業務的方方面面。 您可以在這裡獲取介紹相關詳細資訊的幻燈片。

通過即時複雜事件處理擴展資料倉儲

西北太平洋國家實驗室 (PNNL) 智慧電網示範專案是美國最大的區域合作專案，涉及橫跨五個州的 11 家電力公司的 60,000 名客戶。 該專案通過搭配運用日誌分析和即時複雜事件處理（運用 IBM InfoSphere Streams）與資料倉儲設備 (IBM Netezza) 管理大資料。 InfoSphere Streams 能夠對數以百萬計的消息開展分析，包括每個通信狀態或事件、從電網控制系統進行級聯及檢測可能會導致斷電的各種問題。 而後將上述資料發送到 Netezza，Netezza 在管理事件歷史記錄的同時，運行更加深入的分析以便即時識別難以察覺的各種趨勢及其他模式。 這些分析資料能夠提高電網可靠性，並能降低動態新資料管理平臺的運營成本。 Netezza 將這些分析資料返回至 InfoSphere Streams，從而精煉控制系統資料即時分析。 智慧電網示範專案總監 Ron Melton 對此進行了詳細介紹，請在這裡觀看。

作為社交運算示範專案，PNNL 智慧電網示範專案超出許多企業的運作能力，但其資料管理平臺對於研究即時複雜事件處理價值的首席資訊官具有很大的啟發性。 合併 InfoSphere Streams 與 Netezza 為新類型的應用程式（包括金融市場交易分析、欺詐檢測、網路服務品質分析、網路威脅檢測、資產監控及行銷活動管理）創建資料管理平臺。 隨著庫存和資產實現 IP 化，上述及其他應用程式的應用將更為廣泛。

結束語

我們發現新型企業資料平台層出不窮。 通過利用專為管理和分析海量動態和靜態資料而設計的各種技術擴展結構化資料存儲，企業即可自我武裝以利用任何及全部可用資料。 這種全新的大資料管理平臺是分散式平臺，但並非完全統一，而是不同的平臺，各平臺均針對自身任務進行專化和優化，串聯工作並共用資料和分析結果。 在資料倉儲開啟大資料之旅是一種切實有效的方法，因為它們代表最大的託管資料存儲，也是企業資料整合、安全和治理技術和經驗的中心焦點。