降低雲存儲成本:資料抽象和分佈查詢式資料訪問

來源:互聯網
上載者:User
關鍵字 成本 資料訪問

對於圍繞雲計算的所有應用來說,目前公共雲服務中的應用只代表了IT總支出的一小部分。 除非主流的、占企業預算大頭的要徑任務應用能夠遷往公共雲,否則這一態勢將不會發生變化。

公共雲應用的最大瓶頸似乎是高昂的雲計算存儲成本。 與Web相關的雲應用可能會存儲數以百兆的資料,而要徑任務應用則可能會存儲TB級的資料,按目前的價格來看,其存儲成本是大部分使用者所難以承受的。 但是值得慶倖的是,我們有兩種策略可以來解決這一雲存儲成本問題:資料抽象和分佈查詢式資料訪問。

將資料抽象方法用於商業智慧和成本分析應用

商業智慧(BI)與分析是雲計算最有前途的兩個應用。 這些應用都聚集在重要IT決策上,且遍佈在規劃者和決策者中。 這使得它們成為理想的雲計算應用,但是通常企業估計一個試運行商業智慧應用的運行成本至少為三萬美元,這個價格相當昂貴。

建立真實而不過分龐大的大資料是我們之前提出的兩個數據成本管理方法中第一個,即資料抽象的一個具體實施。 資料抽象是從原始公司資訊中產生一個或多個摘要資料庫的機制,其資料庫規模應確保它(們)能夠被經濟地存儲在雲計算中。

我們在醫療行業中的某一個客戶說,通過診斷代碼、治療代碼以及年齡/性別的形式,創建一組患者資訊摘要資料庫,將減少三百倍以上的資訊量,這意味著其雲資料存儲和訪問成本僅為未經資料抽象處理的三百分之一。

如果希望資料抽象方法成為一種高效的成本管理方法,那麼就必須對如何進行分析以及分析的物件進行深入研究。 大多數BI運行的目的並不是為了發現細節資訊;它們是為了尋找某種規律或某種發展趨勢。 對於大多數的行業來說,有明確的變數非常重要,例如醫療行業中的診斷和治療就是這樣。 通過對這些變數創建摘要資料庫,能夠通過加快存取速度來降低成本支出,同時也不會影響分析工作本身。 一旦定義好變數的特定組合,那麼之後如有需要從未抽象的資料中提取該組合的詳細資訊也是非常容易實現。 這樣一來,基於資料抽象的分析就成為了一個雲應用,可以用於資料中心的詳細分析操作。

對非結構化資料使用分佈查詢式存取方法

資料抽象方法適用于對具有少量重要變數參數結構化交易資料的分析應用。 但它不適用於非結構化格式的傳統大資料,這是因為非結構化資料的抽象比較難以實現。 有些公司在創建電子郵件特定單詞或單片語合高識別率資料庫的應用中有過不少成功案例,但是其前提條件是這樣的關鍵字/片語合是可以預先知道的。 對於大多數應用來說,還是需要有一個更為通用的方法的。 這個方法就是我們所提出的第二個數據成本管理原則——分佈查詢式資料存取方法。

通常來說,資料處理任務可以分為三個部分:對資料的實際處理、用於定位資料位置的資料庫管理訪問,以及從海量存放裝置中獲取資訊的存儲訪問。 如果由於成本原因而無法把大量的資訊遷往雲,那麼也就無法在雲中實現資訊的逐條訪問。 最好的解決方法就是在雲以外的某地託管資料和查詢邏輯,併發送資料庫管理系統(DBMS)查詢命令以提取資料的一個子集,從而實現在雲中的資料處理。 在企業內部確保DBMS引擎功能並只把查詢和結果遷入/出雲能夠顯著地降低資料存儲和訪問成本。

針對這類功能劃分對應用程式進行結構設計是相對簡單的,事實上,正有越來越多的廠商提供了包含存儲/查詢功能的DBMS引擎或設備。 但是,構建針對應用程式的檢查以防止有問題的查詢結構提供所有的資料資訊是非常必要的措施。 在這裡,試點測試是不夠的;在交付前,查詢邏輯應當測試結果的大小。

認識到分散式查詢處理的問題

大資料的一個特殊狀況是,有可能出現資訊不是存儲在一個地方的情況。 電子郵件、即時通信以及協作資訊通常都被保存在它產生的地方,因此企業可能會擁有數十個或數百個網站。 這就產生了分散式查詢處理的問題,它通常被稱為MapReduce的解決方案架構或最常用的開源實施Hadoop。

但結構化資料能夠解決分散式查詢;一家金融公司報告說,它的客戶借用了從位於主要大城市區域三十多個資料庫抽取資料而得到的經驗分析結果。 對於結構化的DBMS分析,即便查詢命令被發送至每個網站以便於單獨運行,也可使用SQL/DBMS命令來「綜合」來自于多個網站的結果。 這樣一來,問題就轉變成為要確保在每個地方查詢命令都要被細分以便於完全運行;否則,運行每個命令就都要求訪問其它地方的資料,其成本就會變得相當高。

雖然很多人都在關注如何創建混合雲,但是對於未來雲中要徑任務應用程式來說,創建「混合資料」將是更為重要的任務。 如果缺少一種最優化使用物美價廉本機存放區資源和高度靈活雲計算處理的方法,那麼使用者們可能會發現他們的大型資料將迫使他們保持傳統的IT架構。 這不僅會讓雲失去與要徑任務應用程式相關

(責任編輯:fumingli)

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.