英特爾為Hadoop添加Lustre支援能力

全世界的廠商已經達成共識：Hadoop在映射化簡領域是一款非常優秀的工具，但該軟體的進一步發展卻受到多種束縛，其中最難跨越的門檻在於對Hadoop分散式檔案系統（簡稱HDFS）的高度依賴。


　　HDFS本身並沒問題，但在與Hadoop集成之後則要求使用者必須為其構建專用電腦集群。


　　雖然我們對HDFS並不過分抵觸，但大部分使用高性能計算集群處理特殊事務的客戶往往對它不太熱衷。 究其原因，使用者需要為HDFS本身投入大量計算資源。 雖然映射化簡功能確實會給任務執行帶來一些便利，不過這部分資源根本無法直接作用於Hadoop運行。


　　英特爾注意到了這一弊端，並在上周悄悄發佈的自家Hadoop發行版本2.5版本中加入了對Lustre的支援能力。


　　HTTP://www.aliyun.com/zixun/aggregation/18652.html">英特爾公司大資料與軟體服務部門總經理Girish Juneja認為， 晶片巨頭的高性能計算客戶們會對新方案讚不絕口。 而英特爾在發行版本中全面推廣開源規則的決定也不會讓其他客戶受到影響。


　　「很多客戶之所以不希望部署一套完整獨立的物理集群，主要是因為弄不清楚該如何在自己的檔案系統中運行Hadoop，」Juneja在越南胡志明市舉行的英特爾大資料與雲峰會上指出。 「高性能計算正是最新決策最直接的受益者。 在高性能計算領域，很多使用者都在使用GPFS或者Lustre，我們也很高興能在自己的業務中引入Lustre。 」


　　「我們以抽象化形式構建HDFS層，但在本質上它仍然屬於Lustre。 」


　　「因此，我們不妨一起關注Los Alamos實驗室等研究環境的使用方式。 在現有集群設施中，設備有九成以上的時間都在運行高性能計算任務，但對於剩下的一成使用時間來說，技術人員可以用來運行Hadoop任務——整個過程不涉及任何資料移轉而且完全在同一套環境內實現。 」


　　鑒於這類實驗室往往需要處理大量資料，這種保持資料不動的方案肯定會大受歡迎。


晶片巨頭還對HBase的加密及控制清單訪問表現出關注。


　　「在NoSQL環境下，技術人員面臨的最大挑戰在於如何指定哪些使用者有權訪問哪些資料，」Juneja表示。 「我們提供額外功能用於實現控制清單訪問」，這將使得管理員在Hbase當中設定資料存取權限政策。


　　除此之外，Juneja認為加密與資料匿名化機制的引入可以促使那些過去對合規性負擔感到憂心的金融服務供應商及使用者考慮投入Hadoop懷抱。 Juneja指出，過去缺乏這類安全類功能意味著Hadoop可能導致無法接受的風險。


　　英特爾公司還銷售用於推動存取控制清單的自家管理軟體。 在Juneja看來，這並不會招致客戶反感。


　　晶片巨頭的Hadoop發行版本3.0將很快與使用者見面，根據目前的情況看應該會在九月份正式發佈。 Juneja表示，使用者可以期待英特爾最終帶來一款在凝聚力方面可與Hadoop社區比肩的出色發行版本。