資訊大爆炸後的大資料殘局，如何收拾？

標籤：大資料 混合雲 veritas

650) this.width=650;" src="http://s4.51cto.com/wyfs02/M01/7E/F9/wKioL1cOb0qAAxlDAAIyx4S8_c0902.jpg" title="41%的企業資料檔案在過去三年都無人訪問過.jpg" alt="wKioL1cOb0qAAxlDAAIyx4S8_c0902.jpg" />

隨著雲端運算在2008年前後的興起，DevOps開發人員文化盛行一時，加上近年來企業加速向互連網轉型，造成開發人員檔案激增。雲端運算又促使了商業模式的巨大變革，大量的公司併購、合并、裁員以及創業公司的興起，導致人員流動加劇、“遺留”資料暴漲。此外，隨著智能手機的興起，視頻與影像檔的爆發，也成為企業的沉重負擔。

一份由資訊管理解決方案商VeritasTechnologies日前發布的公益性報告《資料基因指數》（DataGenomics Index）稱，開發人員檔案是當前全球企業資料環境中數量最多的檔案類型，佔整體檔案總量的20.13%及儲存總量的9.17%。該報告還指出，當員工職位變更或離職後，其遺留的檔案往往成為孤立資料，不僅造成安全隱患而且長期耗費企業儲存區成本。

開發人員檔案、未知檔案（包括孤立資料）和影像檔已經成為企業轉型的資料殘局主體。《資料基因指數》稱，過去三年中有41%的企業資料從未被修改過。現在，企業越來越“養不起”資料了。

企業轉型的迷茫與失控

當前企業IT基礎架構發生了重大改變，這種改變已經深入到企業的日常運營中。特別在國內大力發展互連網+、企業著重向互連網轉型，互連網技術全面滲透到了傳統企業IT中，“軟體定義程式”的概念鋪天蓋地，“這讓大多數企業對IT整體環境感到既興奮又迷茫”。

Veritas公司大中華區支援人員部進階總監李剛分享了這兩年接觸國內企業的情況：“企業不瞭解如何?軟體定義程式，不清楚如何在IT規劃中構建混合雲模式，不明白要怎樣應用知識儲備和技能儲備來應對挑戰，也不知道什麼樣的夥伴能夠協助企業發展。”這些問題如今都尖銳地擺在CIO和IT主管面前，讓企業感到迷茫。

而企業感到興奮的原因在於，他們又看到了IT驅動業務成功的案例。“這種興奮與迷茫，使企業產生了無力感和失控感。”一方面，企業正在經曆行業轉型，另一方面又無力掌控企業IT的發展方向。與此同時，業務部門和企業高層對IT的期望越來越高，而IT管理者對IT方向的把握和管控能力卻越來越弱，這是當前很多中國企業的普遍狀態。

“我們在與客戶交流中發現，企業IT管理者始終通過基礎架構來管控IT。基礎架構是過去企業IT建設過程中最能夠掌控的部分。而‘軟體定義程式’後，所有的硬體變成了‘大宗商品’。混合雲時代，企業的應用程式可以在‘雲’中來回漂移。因此，企業的失控，實際上是對IT基礎架構管控層面的失控。”

李剛表示，Veritas認為企業需要轉換思路，不應該執著於IT基礎架構，而應該更多關注資料本身。未來的企業都將是軟體企業和資料企業，所以，企業IT決策者們真正應該關注的是對資料的管控。企業IT如果要重新掌控核心能力，就應該加強資料掌控，資料才是企業的核心資產。

如何轉換資料管理思維？

Veritas服務於全球5萬多家企業的資訊與資料管理需求，其中86%的企業為全球財富500強。《資料基因指數》是Veritas自1989年成立以來，首次通過對數百億檔案深入分析而得。這份報告的起因，正是企業近年來資料大爆炸與有限儲存資源之間矛盾直接導致的產物。

2012年的一項Gartner研究稱，企業儲存區1PB資料的成本在500萬美元左右。近幾年隨著技術的發展這一成本可降至50萬美元左右，而目前1PB資料在雲上一年的儲存成本最低也在250萬到300萬人民幣之間。大資料還沒來得及產生價值，就已經成為企業的大負擔，而且資料還在不斷增長中。Veritas首席資訊治理專家徐晨說，他曾遇到剛成立的公司，總儲存空間只有幾個TB，但業務部門上來便提出PB級的需求。

企業的資料在不斷膨脹，如何儘早轉換資料管理思維？李剛認為這有幾個前提。首先要關注資料可用性，企業要能夠隨時隨地訪問所需資料；其次是資料的生命週期管理，企業需要有完整工具來完成資料的產生、處理、歸檔、刪除、銷毀等一系列步驟；第三是要關注資料的複用和挖掘；最後是制定對不同雲環境的資料存取原則。

針對資料存放區環境的變化，李剛認為如今處於混合雲環境中的企業資料分散儲存在私人雲端以及不同的公用雲端中，這種複雜的環境對資料管理構成了極大的挑戰。實際上，由於IT的雲化和虛擬化後，資料並不固定存在，企業關心的是隨時訪問資料，而不是具體儲存位置，這帶來了全新的觀點。

從瞭解資料基因入手

為了“收拾”資料殘局，需要對資料有本質上的認識與瞭解，這就是《資料基因指數》的目的與意義所在。任何企業、主題專家、諮詢人員、終端使用者、技術人員以及其他相關人士，都可以通過datagenomicsproject.org瞭解全球企業的資料基因。

根據首份《資料基因指數》報告，企業建立資料的增長速度非常快，年均增長率達到39%。而且企業在不同季節的資料增長情況各不相同：超過68%的視頻檔案建立於夏天，這有可能是因為員工把度假視頻放在了企業伺服器上；很多企業都實施了年度備份政策，所以10月、11月、12月的備份資料增長率大幅提升達756%。

而根據合規要求，資料通常在3年後會從“可能相關”變為“到期”狀態。在企業中，平均41%的企業資料已經到期，或者是連續3年沒有任何使用者進行過修改操作。此外，孤立資料占企業整個資料環境的5%，不僅佔比非常大，而且很容易成為到期資料。孤立資料多為內容豐富的檔案類型，如視頻、圖片和簡報等。

《資料基因指數》指出，簡報、試算表和文檔等傳統Office格式檔案所佔據的空間遠遠超出合理值，為企業造成不必要的成本負擔，視頻和圖片等視覺格式檔案也是企業的另一負擔。以10PB為普通環境舉例，如果展開專門處理到期簡報、文檔、試算表和文字檔的歸檔項目，能為企業每年節省大約200萬美元的儲存成本。

除了Veritas外，另一家企業業務可用性方案提供者Veeam Software（衛盟軟體）也首次在今年倡導把每年的3月30日定為世界可用性日（WorldAvailability Day）。根據Veeam委託進行的一項最新行業調查，84%的CIO承認無法滿足企業員工、客戶和夥伴對資料可用性的預期，而且每年為此損失達1,600萬美元。

目前由於IT基礎架構的巨大變化，類似於Veritas這樣的資料治理與管理技術專業供應商和Veeam這樣的企業業務可用性技術供應商都在市場中有獨特的定位與位置，也是企業在轉型過程中需要瞭解的供應商。當然，現在還沒有供應商能夠整合所有的資料管理及業務可用性工具。Veritas計劃推出類似“資料中介軟體”的產品，整合、協同更多解決方案廠商的產品，協助企業獲得全面的資料掌控能力。

總體來說，大資料爆炸時代，企業需要提前準備好應對“大資料殘局”。在制定資料可用性技術、全資料生命週期管理方案、資料利用和資料採礦以及資料存取原則的前提下，要充分瞭解和認知企業資料的產生特點、規律和本質，然後選用獨特而專業的供應商解決具體的問題，同時注意不同工具之間的相容性和通用性，致力於最終形成一個“資料中介軟體”層。

從資料本身出發，重新思考企業的整體IT策略與架構，這是轉型期的重要方法論之一。（文/寧川，本文首發ITValue）

【更多精彩內容 盡在《雲科技時代》 號：CloudTechTime】

本文出自 “雲科技時代” 部落格，請務必保留此出處http://cloudtechtime.blog.51cto.com/10784015/1763628

資訊大爆炸後的大資料殘局，如何收拾？