如今,大資料正在成為眾多企業單位的重要的工具,而隨著資料本身的加速增長,使用者們所部屬的存儲和資料管理發難變得越來越重要。 而由於使用者面臨的各種挑戰,比如實施分析工具和掌控大型資料檔案等,它們也需要找到更為適合的存儲方案。
使用中繼資料和政策管理
政策管理是另一個很重要的功能,即使是用中繼資料來實施或驅動一些功能。 這也給HTTP://www.aliyun.com/zixun/aggregation/13739.html">非結構化資料帶來了一定的靈活的結構,同時剔除了與結構化資料管理相關的限制或約束。
找到合適的媒介
找到合適的存儲媒介能夠説明使用者滿足它的需求。 硬碟磁碟機(HDD)長期以來是流行的方式來為許多應用提供均衡的性能、容量、存儲密度和成本效率。 而隨著使用者需要在更長的時間內保存更多的資料,這個趨勢將繼續。
大資料還可以得益于如今的使用動態隨機訪問記憶體或NAND快閃記憶體記憶體--或兩者結合--來支援頻寬需求的固態磁碟機解決方案。 SSD可以被用於存儲中繼資料和其他經常被訪問的資料。 而曾經的「元老」---磁帶也將在大資料中扮演幾種角色,這些角色包括定時地將大量資料移轉,提供歸檔或為磁片上的資料提供備份。
降低大資料的資源佔用
重復資料刪除並不總是最大化大資料容量的有效方式。 使用者可以考慮其他工具、技術來緩解由於存儲和保護不斷增長的資料集而帶來的壓力。
重新思考如何、何時、何地以及為何資料要被保護是另一個降低資料佔用的方法。 資料壓縮(即時的或非同步),用不同的壓縮演算法來降低存儲需求也是減少資料佔用的技術之一。
考慮存儲系統選項
一些用於分析工具的大資料解決方案採用集群或網格的配置內部或專用存儲以及應用程式軟體的行業標準x86或ia64伺服器。 大資料應用程式還可以利用現有的針對不同使用情境進行優化的存儲系統。 一些用於傳統的高性能計算的存儲系統可能適合於使用塊或檔訪問方式的頻寬密集型併發或並行訪問應用程式。
保護和服務于大資料
保護大資料要求基本的可靠性、可用性和可服務性。 使用者還必須確保資料的完整性和耐用性,執行後端資料檢查來探測校驗碼或保護錯誤和比特損壞等意外情況。 這些後端檢查必須對正常運行的操作是透明的,而且必須在它們發展成問題之前糾正這些情況。
使用者須重新檢查RAID(獨立磁碟容錯陣列)水準以優化他們的大資料存儲解決方案。 需要考慮得因素包括有多少磁碟機在RAID池或組中,資料塊或I/O大小,以及正在使用的設備的大小和類型,哪些可以進行優化以便適應更小量的資料。
(責任編輯:fumingli)