如何結合大資料與雲端運算?

標籤：style   blog   http   os   使用   ar   strong   資料   sp   

　　你如何在大資料的海洋尋寶？對於那些擁有龐大資料資訊需要處理的企業，在資料分析之前要克服的第一個障礙就是————不能夠定位到相關並且有意義的資訊。

　　你如何在大資料的海洋尋寶？對於那些擁有龐大資訊需要處理的企業，在資料分析之前要克服的第一個障礙就是–不能夠定位到相關並且有意義的資訊。這也是HGST遇到的問題，HGST（日立環球儲存科技公司）是一個電腦硬體的主要生產廠商，他們現在迫切需要追蹤在生產設施上收集到的資料。據HGST的雲端運算與高效能解決方案主管David Hinz介紹，找到所需要的資料來評估生產過程是一個漫長或者說是不可能完成的任務。

　　“我們不能確定它在哪裡，誰擁有它，以及如何得到它，”Hinz說，“對於HGST，我們想改善效能使其能夠及時得到資料，並使團隊能夠快速找到它。然後，我們就可以回過頭來開始分析並找出相關見解，來協助我們改進製造工藝，改善客戶響應，並協助產品推廣。”通過在雲端集中和精簡資料，資料檢索使用者能夠在幾分鐘之內找到想要的資訊而不是幾周。事實證明這家公司在雲端設立Hive資料倉儲是明智的選擇。

　　如何結合大資料與雲端運算？

　　如今的資料絕大多數是非結構化的，而且大多數這類資料都是使用者產生的。AWS的大資料及高可用性資深經理Ben Butler發表評論說：“現在產生資料更加容易，並且成本更低。然而它卻把壓力推給了生命週期的其餘部分：收集和儲存、分析和計算，從而能夠搞清楚這些快速增長的資料的意義。”

　　如今，擁有PB數量級資料，並且一直包含流媒體的大企業已經不足為奇。可用資訊的爆炸性增長意味著在可以被收集和高速分析的資料之間存在差距將越來越大。“關於大資料，你擁有的資料量，種類，以及增長速率都要求新的工具，”Butler說，“在雲端，我們組合不同的計算，網路以及儲存工具，你可以用來解決這些問題。”

　　解鎖大資料的秘密

　　由雲端運算提供的彈性和按需配置，為讓企業組織能夠實驗和嘗試解決大資料的新方法提供了核心力量。企業可以根據供應的基礎設施，用不同的迭代方式嘗試和操縱他們的資料。基礎設施不再限制用什麼來處理資料。這些相同的靈活性使企業即使有高可變負載的情況下也不會超支。

　　根據需要可擴充性還可以減少資料處理的等待時間，這樣對資源的爭用就會更少。獲得無限制的資源可以讓企業在使用AWS解決方案時做出更好的決策。例如，把EMR或其他解決方案植入Kinesis後台，接近即時的分析可以在幾秒之內，通過把可視化的結果傳遞給BI系統展示出來。

　　大資料處理是一個挑戰，對於這些資料，如果沒有強有力的硬體做支撐處理，對其進行有意義的分析幾乎是不可能的。但幸運的是，雲端運算爆炸和彈性使用處理的能力意味著小型企業組織現在可以完成曾經只有大企業才能完成的任務。雲端運算已經使大資料更易於管理，而且還可以對這些資料做更多，更快的分析。隨著大資料還在不斷變大，更大的雲端運算將在那裡等待處理。

如何結合大資料與雲端運算?