SDN網路可將大資料轉變成資訊資產

在過去幾年中，企業已經看到了大資料中隱藏著有價值的資訊，這推動著供應商們積極地致力於開發技術(例如Hadoop、Map/Reduce、Dryad、Spark和Hbase)來有效地將大資料轉換成資訊資產。 而軟體定義網路(SDN)的出現將能夠促進這一過程。


　　構成大資料的大部分資料實際上是非結構化資料。 結構化資料可以通過傳統資料庫架構來處理，非結構化資料則很難應對。 舉例來說，視頻存儲。 雖然視頻檔案類型、檔案大小和源IP位址都是結構化位址，但視頻內容卻是非結構化的，沒有固定長度的欄位。 現在，從大資料分析中獲取的大部分價值來自于對非結構化資料的搜索和查詢能力，例如，通過使用面部視頻演算法，從視頻中的成千上萬個人中搜索出一個人。


　　為了實現這種搜索能力，我們需要能夠跨數千台伺服器集群(通過高速乙太網連接)並行分析計算。 從大資料採礦出情報資訊的過程基本上涉及三個步驟：1)將資料分到多個伺服器節點;2)並行分析每個資料塊;3)整合這些結果。


　　我們需要重複這些操作，直到完成對整個資料集的分析。


　　由於這些平行計算的拆分-合併的性質，大資料分析可能會給底層網路帶來巨大的付丹。 即使是世界上最大的伺服器，資料處理速度只是和其網路在伺服器間傳輸資料的速度一樣。 例如，對Facebook的研究發現，在連續階段之間的資料傳輸占33%的總執行時間，在很多情況下，通信階段占總執行時間的50%以上。


　　通過解決這個瓶頸問題，我們可以顯著加快大資料分析，其中有兩方面的含義：1)更好的集群利用率為管理基礎設施的雲計算供應商降低TCO;2)為租用基礎設施的客戶提供更快的作業完成時間以及即時分析結果。


　　我們需要的是一個智慧型網路，通過計算的每個階段，自我調整來調整拆分-合併階段中的資料傳輸要求，從而不僅提高了速度，而且提高了利用率。


　　SDN的作用


SDN就有可能為大資料分析構建這個智慧自我調整網路。 由於控制螢幕和資料螢幕的分離，SDN為軟體智慧提供了良好定義的程式設計介面，用來程式設計網路以滿足大資料的需求，這些網路是高度可定制化的、可擴展的和靈活的。


　　SDN可以按需配置網路，符合適當的規模和形狀要求，要計算虛擬機器可以彼此通信。 這直接解決了大資料(大規模並行應用程式)面臨的最大的挑戰：較慢的處理速度。 處理速度很慢，這是因為大資料應用程式中的大多數計算虛擬機器花了大量時間等待大量資料通過分散-聚集操作。 通過SDN，網路可以在分散-聚集操作期間，創建安全的路徑以及按需擴展容量，從而顯著地減少了等待時間，加強了總體處理時間。


　　這種軟體智慧基本上是瞭解應用程式需要從網路獲得什麼，它可以為大資料應用程式帶來極大的精確度和效率。 原因主要有兩個：1)良好定義的計算和通訊模式，例如Hadoop的拆分-合併或者Map-Reduce范式;2)集中管理結構讓我們可以利用應用程式水準的資訊，例如Hadoop Scheduler或者Hbase Master。


　　通過借助SDN控制器(對底層網路有著全域視圖：網路狀態、利用率等)，這種軟體智慧可以通過程式設計網路準確地解譯應用程式需求。


　　SDN還提供了其他功能來協助大資料的管理、整合和分析。 新的面向SDN的網路通訊協定包括OpenFlow和OpenStack，致力於讓網路管理變得更加簡單、更加靈活和高度自動化。 OpenStack減少了人力，來實現網路元素的設置和配置，而OpenFlow通過網路自動化來實現更大的靈活性，以支援資料中心自動化、BYOD、安全和應用程式加速等。


　　另外，SDN在為大資料開發網路基礎設施方面也發揮著關鍵作用，簡化對數千交換器的管理，以及促進供應商之間互通性，為加速網路建設和應用開發奠定基礎。 OpenFlow能夠實現這種互通性，説明企業避免專有解決方案的羈絆，致力於將大資料轉化為資訊資本。


　　隨著大資料強大的影響力，以及大家逐漸意識到大資料的潛力，企業必須確保其網路已經擴展為能夠適應這些新興的需求，才能確保企業的長期成功。 很明顯，一個成功的解決方案將會利用兩個關鍵的要素：大資料應用程式中的模式以及SDN提供的網路可程式設計性。 從這個角度來看，SDN無疑將發揮著重要的作用，來使網路適應更快更遠的發展，推動知識和創新的步伐。