Windows 8.1 重複資料刪除——規劃部署（二)

標籤：重複資料刪除   microsoft-windows-vdsinterop-package   win8重複資料刪除   enable-dedupvolume   get-dedupvolume   

一、規劃部署目標
   Windows 8.1&Server 2012 的重複資料刪除設計為安裝到主要資料卷上，而無需添加任何附加的專用硬體。這意味著你可以安裝和使用該功能，而不會影響伺服器上的主要工作負載。預設設定為非侵入性的，因為它們允許在處理特定檔案之前資料“存留時間”達到五天，預設的最小檔案大小為 32 KB。該實現是為低記憶體和 CPU 利用率而設計的。如果記憶體利用率變高，則重複資料刪除功能將等待可用的資源。管理員可以根據所涉及資料的類型以及該卷或特定檔案類型的更改頻率和更改量，來計劃更加積極的重複資料刪除。
重複資料刪除的理想工作負載包括：
常規檔案分享權限設定：組內容發布和共用、使用者首頁檔案夾和設定檔重新導向（離線檔案）
軟體部署共用：軟體二進位檔案、映像和更新
VHD 庫：要設定到Hypervisor的虛擬硬碟 (VHD) 檔案儲存體

二、確定作為重複資料刪除候選的卷
   重複資料刪除在最佳化儲存和減少磁碟空間佔用方面可以達到很好的效果：如果應用於適當的資料，將減少多達 50% 到 90% 的空間佔用。選擇待進行重複資料刪除的資料時，應評估以下三點注意事項：
1.資料中是否存在重複現象

承載使用者文檔的檔案分享權限設定或伺服器、軟體部署二進位檔案或虛擬硬碟檔案往往存在大量的重複資料，因此重複資料刪除將節省大量空間。下表主要顯示了各種內容類型的典型的重複資料刪除節省情況。結果將因資料類型、混合和大小情況而異。在啟用重複資料刪除之前，最好先針對資料樣本進行評估。

650) this.width=650;" title="2015-04-20_001.png" alt="wKioL1U1CXLBYI77AACz2C_ANrs203.jpg" src="http://s3.51cto.com/wyfs02/M02/6B/B6/wKioL1U1CXLBYI77AACz2C_ANrs203.jpg" />

2.資料訪問模式是否允許足夠的時間進行重複資料刪除

經常更改或者由使用者或應用程式不斷訪問的檔案不是進行重複資料刪除的好候選。不斷訪問和更改資料可能會抵消重複資料刪除帶來的任何最佳化成效，而且重複資料刪除可能無法處理這些檔案。

• 重複資料刪除好的候選包括承載使用者文檔的檔案分享權限設定、虛擬檔案或軟體部署檔案，這些檔案包含不常修改但經常讀取的資料。

• 重複資料刪除不好的候選包括不斷裝入並運行虛擬機器的 SQL Server 資料庫，以及即時 Exchange Server 資料庫。

好的候選有足夠時間來刪除檔案中的重複資料。可以應用檔案存留時間策略來控制刪除檔案中重複資料的時間，以防對仍有可能進行大量修改的檔案執行過早或頻繁的重複資料刪除。

3.伺服器是否具有足夠的資源和時間運行重複資料刪除

重複資料刪除需要讀取、處理和寫入大量的資料。這將佔用伺服器資源，在規劃部署時必須考慮該情況。伺服器通常有高峰活動期間，也有資源使用率較低的時候。重複資料刪除可在資源空閑時完成大部分工作。始終以最大容量啟動並執行伺服器不是重複資料刪除的好候選，即便重複資料刪除進程可以使用後台最佳化作業來最佳化某些檔案也是如此。

基於觀測到的節省和典型資源利用情況，對重複資料刪除部署候選評定的層級如下：

• 極佳的重複資料刪除候選：檔案夾重新導向伺服器；虛擬化 depot 或設定庫；軟體部署共用；SQL Server 和 Exchange Server 備份卷；

• 應基於以下內容進行評估：企業營運服務器；靜態內容提供者；Web 服務器；Alibaba Cloud HPC；

• 重複資料刪除的不佳候選：Hyper-V 主機；VDI VHD；WSUS；運行 SQL Server 或 Exchange Server 的伺服器；大小接近或大於 1 TB 的檔案；
  

三、重複資料刪除的伺服器和卷要求
伺服器：
有關重複資料刪除的伺服器要求，請參閱下面的列表：
伺服器硬體應滿足運行 Windows 8.1&Server 2012 的最低要求重複資料刪除功能設計為支援最低配置，如配有 4 GB RAM 和一個 SATA 硬碟的單一處理器系統。
如果計劃在同一伺服器的多個卷上支援重複資料刪除，你將需要為系統計劃適當的大小，以確保系統可以處理資料。通常，伺服器需要 1 個 CPU 核心和 350 MB 可用記憶體，以在單個卷上運行重複資料刪除作業；該作業每小時可以處理約 100 GB 資料，或者每天可以處理約 2 TB 資料。重複資料刪除功能使用額外的 CPU 核心處理器和可用記憶體進行伸縮以允許對多個卷進行平行處理。
重複資料刪除功能一次支援多達 90 個卷，但是，該功能除了允許每個物理 CPU 核心處理器一次處理一個卷外，還可以額外再處理一個卷。超執行緒不會對此造成影響，因為只有物理核心處理器才可用於處理卷。配有 16 個 CPU 核心處理器和 90 個卷的系統一次將處理 17 個卷，直到所有 90 個卷全部處理完成，但前提是有足夠的記憶體。
虛擬伺服器執行個體應遵循與關於伺服器資源的物理硬體相同的指導。
卷 ：
作為重複資料刪除候選的卷必須符合下列要求：
不能是系統磁碟區或引導卷。重複資料刪除在作業系統磁碟區上不受支援。
可以按主開機記錄 (MBR) 或 GUID 磁碟分割表格 (GPT) 進行分區，而且必須使用 NTFS 檔案系統格式化。
可以駐留在共用儲存上，如使用光纖通道或 SAS 陣列的儲存，或完全支援 iSCSI SAN 和 Windows 容錯移轉叢集時。
不依賴叢集共用磁碟區 (CSV)。如果將支援重複資料刪除的卷轉換為 CSV，你可以訪問資料，但不能繼續對檔案進行重複資料刪除處理。
不依賴 Microsoft 復原檔案系統 (ReFS)。
必須以不抽取式磁碟機形式向作業系統公開。遠程對應磁碟機不受支援。
 備忘
具有擴充屬性的檔案、加密檔案、小於 32 KB 的檔案和重解析點檔案不會被重複資料刪除功能進行處理。

windows 8.1啟用重複資料刪除功能：

1.準備cab檔案（因官方總是提示您訪問的網頁出錯了！推薦本人下載位置：http://pan.baidu.com/s/1o6xEI9s  本例以F盤為準）；

• Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~~6.3.9600.16384

• Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384

• Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~~6.3.9600.16384

• Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384

• Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~~6.3.9600.16384

• Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384

650) this.width=650;" title="1.png" alt="wKiom1U1DgSggNgxAAMZdZ13pyw360.jpg" src="http://s3.51cto.com/wyfs02/M02/6B/BA/wKiom1U1DgSggNgxAAMZdZ13pyw360.jpg" />

2.管理員DOS命令下執行Dism命令：

• dism /online /add-package /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~~6.3.9600.16384.cab /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384.cab /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~~6.3.9600.16384.cab /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384.cab /packagepath:Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~~6.3.9600.16384.cab /packagepath:Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384.cab

• dism /online /enable-feature /featurename:Dedup-Core /all

650) this.width=650;" title="2.png" alt="wKioL1U1DzvwwaV7AAg4_wHHi6w788.jpg" src="http://s3.51cto.com/wyfs02/M02/6B/B6/wKioL1U1DzvwwaV7AAg4_wHHi6w788.jpg" />

3.使用 Windows PowerShell 啟用重複資料刪除：

 1）、若要在卷上啟用重複資料刪除，請在伺服器上運行以下 Windows PowerShell 命令。在此樣本中，卷 F 上啟用了重複資料刪除。

  PSC:\> Enable-DedupVolume F:

 2）、作為另一種選擇，使用以下命令，設定檔案進行重複資料刪除前，應保留的最少天數。

  PSC:\> Set-Dedupvolume F: -MinimumFileAgeDays 10

 3）、查看已啟用重複資料刪除的卷：

  PSC:\> Get-DedupVolume                             \\返回摘要資訊

  PSC:\> Get-DedupVolume | format-list         \\返回有關卷重複資料刪除設定的詳細資料

650) this.width=650;" title="2015-04-20_005.png" alt="wKioL1U1G0aR5rYHAAXv_Sxo_R4068.jpg" src="http://s3.51cto.com/wyfs02/M02/6B/B6/wKioL1U1G0aR5rYHAAXv_Sxo_R4068.jpg" />

註：如果將 MinimumFileAgeDays 設為 0，那麼重複資料刪除將處理所有檔案，不論其留存時間有多久。這適合於測試環境，在這種環境中你想要進行最大限度的重複資料刪除。但是，在生產環境中，最好是等待幾天（預設為 5 天），因為在更改率減緩前，檔案往往會在短時間內改變很多。這允許對伺服器資源進行最有效使用。

4.設定重複資料刪除最佳化作業:

重複資料刪除功能帶有內建作業，可定期地自動啟動並最佳化指定的卷。最佳化作業根據原則設定在卷上重複資料刪除資料，並壓縮檔區塊。初始最佳化完成之後，最佳化作業根據你配置的作業議程表或產品附帶的預設作業議程表，在策略中包含的檔案上運行。

  Start-DedupJob cmdlet   觸發最佳化作業：

   PSC:\> Start-DedupJob –Volume F: –Type Optimization                \\立即返回作業非同步啟動

   PSC:\> Start-DedupJob F: –Type Optimization -Wait                      \\稍後完成作業非同步啟動

  Get-DedupJob cmdlet    查詢作業的進度：

   PSC:\> Get-DedupJob

  Get-DedupJob                顯示當前正在運行或排隊等待啟動並執行作業

  Get-DedupStatus cmdlet         查詢包括在卷上獲得的節省在內的關鍵狀態統計：

   PSC:\> Get-DedupStatus | f1

650) this.width=650;" title="2015-04-20_006.png" alt="wKiom1U1G4GSY1tNAAV0SXnTdlI908.jpg" src="http://s3.51cto.com/wyfs02/M00/6B/BA/wKiom1U1G4GSY1tNAAV0SXnTdlI908.jpg" />

  Get-DedupStatus                     顯示可用空間、節省的空間、最佳化的檔案、InPolicyfiles（基於定義的檔案留存時間、大小、類型和位置條件，屬於卷重複資料刪除策略的檔案數量）以及相關的磁碟機標識符

資料清理作業：

   PSC:\> Start-DedupJob F: –Type Scrubbing                        \\這建立一個作業，嘗試修複所有記錄到重複資料刪除內部損壞日誌中（I/O 期間被記錄到重複資料刪除檔案中）的損壞;

   PSC:\> Start-DedupJob F: –Type Scrubbing -full                 \\-full 參數將清理整個已重複資料刪除的資料集合，並尋找所有導致資料訪問失敗的損壞;

650) this.width=650;" title="2015-04-21_001.png" src="http://s3.51cto.com/wyfs02/M00/6B/B6/wKioL1U1KCKQUVAiAATIeZyuFMc288.jpg" alt="wKioL1U1KCKQUVAiAATIeZyuFMc288.jpg" />

記憶體回收作業：

   PS C:\> Start-DedupJob F: –Type GarbageCollection            \\刪除不訪問的區塊，並壓縮具有 5% 以上不訪問資料的容器;

   PS C:\> Start-DedupJob F: –Type GarbageCollection -full     \\將所有容器壓縮到可能的最大限度

相關資訊參照官網。祝大家生活愉快！

本文出自 “聽聞” 部落格，請務必保留此出處http://wenzhongxiang.blog.51cto.com/6370734/1636286

Windows 8.1 重複資料刪除——規劃部署（二)