保障Hadoop資料安全的十大措施

Dataguise最近發佈了Hadoop十大資料安全措施，內容涵蓋隱私風險、資料管理和資訊安全等，可以説明專業人士降低大資料應用的潛在資料洩漏和政策違規等風險，對於那些考慮部署Hadoop的企業來說非常值得參考。

Dataguise為多家財富200強企業提供Hadoop安全服務，總結出了一套適合大規模多樣化環境的大資料安全實踐和流程。

大資料分析向來伴隨著隱私話題和爭議，在大資料分析中的海量資料裡，難免會出現姓名、位址和身份號碼等個人隱私資訊PII(Personally Identifiable Information)。

而大量金融資料中類似信用卡和銀行帳戶號碼中難免也會攜帶上述個人資訊，對這些資料的訪問將引起極大的爭議。 但是通過縝密的計畫、測試、生產預備工作，以及對大資料技術的合理應用，大多數隱私問題都可以得到緩解。

以下是Dataguise給出的Hadoop專案實施的最佳安全實踐，尤其對專案初期的規劃階段有重要參考價值：

1.資料隱私措施越早越好。 在規劃階段就明確資料隱私保護原則，最好在將資料導入Hadoop之前完成，這可以防患未然。

2.明確你所在企業中哪些資料元素屬於敏感性資料。 充分考慮企業的隱私政策，相關行業規定和政府法規。

3.審視分析環境和裝配Hadoop系統的過程中是否藏有/夾帶敏感性資料。

4.收集足夠資訊來明確合規風險。

5.明確業務分析是否需要訪問真實資料，或「脫敏」資料能否使用。 然後選擇合適的敏感資訊遮擋和加密等矯正技術(masking or encryption)。 遮擋(masking)技術提供最好的安全性能，而加密則更具靈活性，視將來的需要而定。

6.確保資料保護方案能夠同時支援遮擋和加密兩種資料矯正技術，尤其是當需要將經過遮擋處理和未經遮擋的兩個版本的資料分別存放于不同的Hadoop目錄下的時候。

7.確保資料保護技術對所有資料檔案提供一致的masking方式，這樣可以保證在各個資料彙聚維度上的分析的準確性。

8.確定特定資料集是否需要定制的保護方案，出於資料單元安全管理的需要，可以考慮將Hadoop目錄劃分成更小的群組。

9.確保你選擇的加密方案與企業的存取控制技術能夠交互操作，這樣特定級別和身份的使用者只能訪問Hadoop集群中特定的資料範圍。

10.當需要使用加密技術的時候，確保部署合適的技術(JAVA、Pig等)實現無縫加密，同時確保對資料的無障礙訪問。

通過及早啟動並建立敏感性資料預案，企業能儘早發現Hadoop環境中的敏感性資料，分析合規風險併合理採用資料保護技術，這不但能大大降低資料洩漏和合規風險，還能提高大資料項目目的投資回報。