大資料與資料庫的區別，大資料的備份與恢複

標籤：

大資料（big data），指無法在可承受的時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程最佳化能力來適應海量、高增長率和多樣化的資訊資產。

資料庫（Database）是按照資料結構來組織、儲存和管理資料的倉庫，它產生於距今六十多年前，隨著資訊技術和市場的發展，特別是二十世紀九十年代以後，資料管理不再僅僅是儲存和管理資料，而轉變成使用者所需要的各種資料管理的方式。資料庫有很多種類型，從最簡單的儲存有各種資料的表格到能夠進行海量資料存放區的大型資料庫系統都在各個方面得到了廣泛的應用。

　　大資料應用的發展趨勢是在擁有大儲存容量的同時配備用於執行資料分析的融合硬體裝置與分析軟體包。這些應用通常不會用於處理運營資料;相反，使用者會通過查詢資料來分析過去的產品銷售、預測趨勢和確定未來的客戶購買模式。大資料應用通常並不會被定位為關鍵業務系統，雖然它們也支援銷售和營銷決策，但是並不會顯著影響一些核心業務，如客戶管理、訂單、庫存和配送等。

我們來看一下如何進行大資料的災難恢複。　資料太大，無法備份

　　災難恢複最佳實務包括在指定的時間裡將重要資料及時恢複到一致狀態的能力。這段時間稱為恢復目標(RTO)，它必須在業務所依賴的運營資料的限制範圍之內(最多幾個小時)。大多數公司認為大資料的備份與恢複並不重要。其中包括以下這些原因。

　　運營系統更重要。在發生災難之後，最高優先順序的工作是恢複那些支援運營系統的資料。這些系統包括會計、訂單條目、支付受理、工資等，它們是保證公司正常運營的必要條件。在這些資料恢複之後，第二優先順序的工作是支援這些系統的運行。

大資料並不是關鍵業務系統。預測和趨勢分析可能是營銷的重要手段，但是這些分析及其相關的查詢和使用者報表都基於曆史資料，而非即時資料。

　　　大資料的體量非常巨大，一個大資料應用所儲存的資料量可能是所有運營資料之和的數十倍。這是因為大資料應用工作在資料的曆史 快照上。十年的曆史資料就會包含幾千天的快照。它備份在什麼介質上，備份需要多長時間，然後需要的備份儲存有多大？

　　備份與恢複流程需要I/O通道容量。在短時間內遷移大容量的資料要求使用較大的容量。備份與恢複會耗盡I/O通道，唯一可行的替代方法是安裝足夠的附加容量去處理這些任務。

　大資料的備份方法：如果準備在災難恢複計划過程中恢複全部或部分大資料應用，那麼可以考慮選擇下面這些備份方法。最重要的是要記住：大資料主要是曆史資料和待用資料。運營資料快照會被提取到一個分段集結地區，進行整理和轉換，然後再載入到企業資料倉儲和大資料應用中。在此之後，它們都不會更新。這意味著在每一個快照上只需要運行一次備份流程。

　　最常用的備份方法主要有：　資料複製。這是一個常用的備份方法。當資料載入到資料倉儲或大資料應用程式時，它們會同步傳輸到一個備份流程中，其中會載入大資料應用程式的一個備份副本。這個流程通常發生在災難恢複網站中，然後在發生災難時它仍然保有一份最新的資料。

　　虛擬快照。這是一個硬體解決方案，它允許在 儲存介質上建立整個系統的虛擬備份。資料庫寫操作會在中斷一小段時間，這時管理 儲存子系統的硬體會對所有檔案執行內部複製操作。這個複製流程可能非常快，有時會在幾秒鐘內完成。在複製完成之後， 資料庫管理系統又會重新允許執行寫操作。快照提供了超快速的恢復，它的假定前提是可以恢複到建立快照的指定時間點。除此之外，恢複到非快照建立的時間點需要有一些方法能夠將所有最新資料庫變化(日誌捕捉)應用到快照中。另一個問題是儲存容量。快照可能要求將當前使用的儲存加倍。而且，當災難發生時，當時的快照會作為當前資料，但是還必須分配另一個快照地區，以備應付新的災難事件。

　　本地與遠程副本。這是一個經典方法，它由 磁碟備份和包含物理磁碟機或資料庫的陣列備份構成。DBA使用供應商工具訪問那些通常儲存為一種壓縮私人格式的資料。這些備份會快速地執行和載入，因為它們採用的是內部資料格式。

　　總結　大資料無論部署還是使用都非常耗費時間、金錢和資源。許多公司迫切希望從這些大投入中擷取回報，查詢和報表能夠提供一些寶貴的洞察力，協助執行決策、應付變化和獲得收益。大資料應用最終會變成關鍵業務系統。在此之前，一定要保證自己的IT基礎架構能夠備份和恢複這些資料。

大資料與資料庫的區別，大資料的備份與恢複