Hadoop,作為被大肆宣傳的大資料利器,設計初衷是為搜尋引擎建立網頁索引,而不是處理信用卡號,所以安全並不是其重點考慮的問題。 基於這個原因,許多企業對Hadoop都是淺嘗輒止。 目前,包括Cloudera、Intel在內等多個Hadoop發行版本廠商,都在實行或制定安全方面的計畫。
專利和補丁
Zettaset是一家為Hadoop發行版本提供安全特性的公司,其董事長兼CEO Jim Vogt稱:「今年很多公司都對Hadoop技術很感興趣,但是其中很大一部分因為安全問題都望而卻步。 當真正衡量某一技術在一個企業或一個更廣闊的市場的可行性時,安全問題是必須要考慮的。 」
據Vogt稱,Zettaset已經在管理和控制分佈在Hadoop集群上多個伺服器的加密金鑰技術上有了專利方法。 為了在Hadoop上實現安全的前提下,最大限度控制性能降低,Zettaset明年將推出一個在集群中實現優先資料存儲的系統。 如果某塊資料經常被訪問,那麼將這部分資料放在SSD會比在硬碟執行速度更快。 當然,指出現有的不足,使使用者意識到自己的基礎設施是不安全的,直接受益者肯定是Zettaset以及其它提供安全服務的公司。
Cloudera產品副總裁Charles Zedlewski認為,安全問題主要設計四個方面:
身份驗證:怎樣確認你是否是某個系統的使用者。 授權:可以控制使用者能夠讀取的資訊,以及針對特定資料使用者可以進行的操作。 審計:審計可以提供滿足監管需求的文檔支援,查看是否有違規操作。 加密:為數據安全提供更多保障。
目前,在MapReduce、HBase、Hive和其它Hadoop程式中,原生的Apache Hadoop提供了其中的某些特性。 比如,Hadoop中有嚴格的身份驗證機制。 Zedlewski認為從客戶的角度考慮我們還需要提高的地方在於使其更易於安裝和配置。
Zedlewski說:「加密是另一回事。 資料可以在網路傳輸過程中被加密,這個功能兩年前就實現了。 涉及到‘靜止’資料的加密,一些公司會採用如Gazzang和Vormetric等安全供應商提供的現成的加密庫。 」Cloudera正在考慮在自己的產品中加入加密功能,客戶就不用再找其它安全服務提供者。 Cloudera作為Hadoop市場領軍者,這一做法很值得讚賞。
Zedlewski認為在授權方面,Hadoop還不夠成熟。 Cloudera希望客戶可以自己決定某個表的授權細微性。 例如一個10000條信用卡號碼的表,如果你有查看部分資料的許可權,那麼基於表細微性級的授權機制,你沒有訪問這個表的許可權,而基於記錄細微性的授權機制,你能看到50條特定範圍內的資料。 換句話說,細細微性的授權機制,可以使更多員工獲得存取權限。
Rhino專案
大約3個月前,剛剛加入Hadoop陣營的Intel,在Rhino專案下列出了希望在Hadoop中實現的安全特性。
在身份驗證方面,實現一個不依賴外部源的新的內部系統,同時提供更好的單點登錄功能。 授權機制方面,可以跨越許多Hadoop應用程式,從批次處理的MapReduce到HBase資料庫。 這些功能會被加入到Intel的Hadoop發行版本中,其它發行版本中可以作為補丁加入。
Knox專案
來自Hortonworks的幾位工程師今年一直活躍在某個名為Knox的孵化器專案。 Hortonworks的企業戰略副總裁Shaun Connolly解釋說,這個專案就像在Hadoop集群中的伺服器周圍構造一個大的虛擬圍欄,對於可用的Hadoop服務只有一個安全閘道可以進入。
MapR公司首席行銷官Jack Norris說:」MapR在試圖加入加密金鑰管理功能,包括對‘靜止’資料的加密。 就像Cloudera,MapR希望使安全問題更容易實現,尤其是傳輸過程中的資料加密和身份驗證。 」(編譯/周小璐 審校/仲浩)