轉：儲存之直連儲存Dell Powervault MD 3000

標籤：

  儲存之直連儲存DellPowervault MD 3000

儲存根據伺服器類型可以分為：封閉系統的儲存和開放系統的儲存

1、封閉系統的儲存：封閉系統主要指大型主機，AS400等伺服器

2、開放系統的儲存：開放系統指基於包括Windows、UNIX、Linux等作業系統的伺服器；開放系統的儲存分為：內建儲存和外掛儲存。外掛儲存根據串連的方式分為：

DAS直連式儲存（Direct-AttachedStorage）：伺服器需要安裝SAS HBA卡，通過SAS線連直接接到盤櫃的SAS介面上。I/O請求是直接發送到存放裝置上。這種方式是用來串連單獨的或兩台叢集伺服器。如Powervault MD3000、JBOD

FC-SAN存放區域網路：伺服器需要安裝FC（光纖通道）HBA卡，通過光纖線串連到盤櫃的FC介面。另外還可以通過光纖交換器（需要安裝短波光模組）擴充成一個FC-SAN存放區域網路。FC-SAN和伺服器可以任意串連，資料通訊是通過SCSI命令而非TCP/IP，資料處理是“塊級”（block level），I/O請求是直接發送到存放裝置的。 高效能的光纖通道交換器和光纖通道網路通訊協定是FC-SAN的關鍵，把以光纖通道交換器為骨乾的網路拓撲結構稱為“SAN Fabric”，而光纖通道協議是FC-SAN的另一個本質特徵。FC-SAN正是利用光纖通道協議上載入SCSI協議來達到可靠的塊級資料轉送。光纖通道協議實際上解決了底層傳輸協議，高層的協議任然使用SCSI協議，所以光纖通道協議實際上可以看成是SCSI over FC。目前一般的SAN提供2Gb/S到4Gb/S的傳輸數.SAN最終將實現在多種作業系統下，最大限度的資料共用和資料最佳化管理，以及系統的無縫擴充。總的來說SAN是一個“本地磁碟”。在FC-SAN中，有一些專用的硬體和軟體。硬體包括FC卡、FC HUB、FC交換器、儲存系統等，軟體主要是FC控制卡針對各種作業系統的驅動程式和儲存管理軟體。
FC卡：主要用於主機與FC裝置之間的串連。
 FC HUB：內部運行仲裁環拓撲，串連到HUB的節點共用100MB/S頻寬（或更高）。
FC交換器：內部運行Fabric拓撲，每連接埠獨佔100MB/S頻寬（或更高）。
FC存放裝置：採用FC串連方式，光纖介面可以有一到多個。FC存放裝置通常採用光纖的硬碟，也有Fibre to SCSI（Fibre to ATA）的解決方案，使用SCSI（或ATA）的硬碟，在整個配置上較便宜。
儲存網路管理軟體：儲存管理軟體主要的功能是自動探索網路拓撲及映射，當在儲存網路中增加或減少時自動探索及組態。

IP-SAN存放區域網路（iSCSI、FCIP、iFCP）：這種方式是將伺服器和存放裝置通過專用IP網路連接起來，伺服器通過“Block I/O”發送資料存取請求到存放裝置。也就是說把SCSI命令包在TCP/IP中傳輸，即SCSI over TCP/IP。IP-SAN（IP儲存）的通訊通道是使用IP通道，而不是光纖通道，這些技術有iSCSI、FCIP、iFCP。而iSCSI發展最快，已經成了IP儲存一個有力的代表。像光纖通道一樣，IP儲存是可交換的，但是與光纖通道不一樣的是，IP網路是成熟的，不存在互通性問題，而光纖通道SAN最令人頭痛的就是這個問題。

1. iSCSI（互連網小型電腦系統介面）：是一種在internet協議網路上，特別是乙太網路上進行資料區塊傳輸的標準。簡單地說，iSCSI可以實現在IP網路上運行SCSI協議，使其能夠在諸如高速千兆乙太網路上進行路由選擇，實現了SCSI和TCP/IP協議的串連。

2. FCIP（FiberChannel over IP）：在同一個SAN範圍內，TCP/IP資料包再封裝FC命令和資料，從而在IP網路上傳輸FC命令和資料。FCIP是一種基於互連網協議（IP）的儲存連網技術，它利用IP網路通過資料通道在SAN裝置之間實現光纖通道協議的資料轉送，把真正的全球資料鏡像與光纖通道SAN的靈活性、IP網路的低成本相結合，降低遠程操作的成本，從而把成本節省和資料保護都提升到了一個新的高度。FCIP被提議為通過現有的IP網路連接光纖通道SAN“孤島”的一種標準方法。FCIP還可用來克服光纖通道目前存在的距離限制因素，能夠跨越大於光纖通道支援的距離串連SAN孤島。FCIP具有實現錯誤修正和檢測的優點：即如果IP網路錯誤率高的話，它就重試。

3. iFCP（Internet Fibre Channel Protocol）：是基於TCP/IP網路運行光纖通道通訊的標準，iFCP具備網關功能，它能將光纖通道RAID陣列、交換器以及伺服器串連到IP儲存網，而不需要額外的基礎架構投資。iFCP的工作原理是：將FC資料以IP包形式封裝，並將IP地址映射到分離FC裝置。由於在IP網中每類FC裝置都有其獨特標識，因而能夠與位於IP網其它節點的裝置單獨進行儲存資料收發。FC訊號在iFCP網關處終止，訊號轉換後儲存通訊在IP網中進行，這樣iFCP就打破了傳統FC網的距離（約為10公裡）限制。

NAS網路儲存：NAS實際是一種帶有瘦伺服器的存放裝置。它直接連接到TCP/IP網路上，作為一台網路檔案伺服器通過檔案存取協議如：NFS、HTTP、CIFS實現資料共用訪問，使用者通過TCP/IP協議訪問NAS伺服器存取管理資料。不同於DAS和SAN，伺服器通過“File I/O”方式傳送檔案存取請求到NAS裝置上，NAS裝置上的系統將“FileI/O”轉換成“Block I/O”發送到內部磁碟。由於NAS採用檔案請求的方式，相比塊請求的裝置效能差，並且NAS系統不適合於不採用檔案系統進行儲存管理的系統（如資料庫）。NAS作為異構平台使用統一儲存系統提供瞭解決方案。對硬體要求很低，軟體成本也不高，甚至可以使用免費的LINUX（openfiler、OpenNAS）解決方案，成本只比直接附加儲存略高。可見NAS是將目光集中在應用、使用者和檔案以及它們共用的資料上.總的來說，NAS就是一個網路上的檔案系統。

注意：SAN結構中，檔案管理系統（FS）是分別在每一個應用伺服器上；而NAS則是每個應用伺服器通過網際網路共用協議（如：NFS、CIFS）使用同一個檔案管理系統。換句話說：NAS和SAN儲存系統的區別是NAS有自己的檔案系統管理。

比較：

介面技術：IP-SAN和NAS一樣透過IP網路來傳輸資料，FC則不一樣，資料是透過光纖通道（Fibre Channel）來傳遞。

資料轉送方式：同為SAN的IP-SAN及FC-SAN都採用Block協議方式，而NAS則採用File協議。

傳輸速度：就目前的傳輸速度而言是FC-SAN（2Gb）最快、IP-SAN（1Gb）次之，NAS居末。基本上，FC-SAN及IP-SAN的Block Protocol會比NAS的File Protocol來得快，這是因為在作業系統的管理上，前者是一個“本地磁碟”，後者則會以“網路磁碟”的名義顯示。

資源共用：FC-SAN和IP-SAN共用的是儲存資源，NAS共用的是資料。

傳輸距離：原則上，三者都支援長距離的資料轉送。FC的理論值可達100公裡。透過IP網路的NAS及IP-SAN理論上都沒有距離上的限制，但NAS適合長距小檔案的傳輸，IP-SAN則可以進行長距大量資料的傳遞。

 

本次實驗以直連儲存Dell PowerVaultMD3000為例子，環境有以下硬體：

1. 一台Dell PowerVault MD3000的直連儲存

2. 兩條SAS 4x線

3. 一張SAS HBA卡。

4. 四塊SCSI硬碟

5. 一台Dell T110 ii的伺服器，安裝有Windowsserver 2008 x64作業系統

6. 三條電源線，一條伺服器用，兩條是MD3000 Raid控制器的

            圖一：所有裝置

 

                            圖二：安裝SAS HBA卡

 

           圖三：MD3000的雙Raid儲存空間

 

圖四：使用冗餘資料通路連結單台主機（單HBA卡）

 

說明：

1. 伺服器主機上安裝一張SAS HBA卡，卡上有兩個介面分別為0，1；從宿主伺服器串連至MD3000 SAS 輸入“In”連接埠連接器時，可以使用伺服器HBA 卡的任一輸出連接埠連接器。

1. RAID陣列存放裝置通過兩個熱插拔RAID控制器模組串連至主機。RAID控制器模組被標識為RAID控制器模組0和RAID控制器模組1.每個MD3000 RAID控制器模組至少具有一個SAS 輸入連接埠“In”，該連接器提供了到主機或節點的直接連接。每個控制器模組還包含一個SAS 輸出連接埠“Out”，此連接埠使您可以選擇將RAID存放裝置串連至擴充存放裝置。注意另外有一些可選的雙連接埠RAID 控制器提供了第二個SAS 輸入連接埠連接器，SAS 輸入連接埠連接器被標記為“In-0”，如果使用了可選的控制器，則第二個SAS 輸入連接埠連接器被標記為“In-1”

2. 每個MD3000 RAID控制器模組至少有一個乙太網路口，通過網路連結提供頻外管理；而資料SAS輸入連接埠“In”也可以通過SAS線連結提供帶內管理。

3. MD3000存放裝置陣列由MD Storage Manager 軟體管理，該軟體可運行在主機或儲存管理網站上。在主機系統上，MD Storage Manager和陣列通過介面電纜直接傳送管理請求和事件資訊。在儲存管理網站上，MD Storage Manager通過 RAID控制器模組上的乙太網路串連或宿主伺服器上安裝的主機代理與陣列進行通訊。使用MD Storage Manager，您可以將陣列中的物理磁碟配置為稱作磁碟組的邏輯組件。然後可以將磁碟組劃分為多個虛擬磁碟。在存放裝置陣列配置和硬體允許的情況下，可以劃分任意多個磁碟組和虛擬磁碟。可在存放裝置陣列的未配置的空間中建立磁碟組，在磁碟組的可用空間中建立虛擬磁碟。未配置的空間由尚未分配給磁碟組的物理磁碟組成。使用未配置的空間建立虛擬磁碟時，將自動建立磁碟組。 如果刪除磁碟組中僅有的虛擬磁碟，則該磁碟組也將一起刪除。可用空間是指磁碟組中尚未分配給虛擬磁碟的空間。使用RAID技術將資料寫入存放裝置陣列中的物理磁碟。 RAID層級定義了將資料寫入物理磁碟的方式。不同的 RAID層級可以提供不同層級的可訪問性、冗餘和容量。 可以為存放裝置陣列上的每個磁碟組和虛擬磁碟設定一個指定的RAID 層級。您可以通過在磁碟組（具有除0 之外的RAID 層級）中建立熱備用來提供其它資料冗餘層。熱備用可以自動更換標記為“Failed”（故障）的物理磁碟。

4. MD3000最多可以將存放裝置串連至四台主機和兩台擴充存放裝置。您選擇的配置取決於所擁有的主機數量、要串連至外掛式主控件還是叢集節點以及所需的資料冗餘的層級。MD3000的可以最多添加兩台MD1000擴充存放裝置以獲得額外的容量。擴充將最大物理磁碟池增加為453.5" SAS 物理磁碟。可以使用一個新的MD1000或先前在直 接串連解決方案中已使用PERC5/E系統進行配置的MD1000 來進行擴充。如果先前串連至PERC 5 SAS 控制器的MD1000用作至MD3000 的擴充存放裝置，則將重新初始化MD1000存放裝置的物理磁碟並且將遺失資料。嘗試進行擴充之前，必須備份所有的 MD1000資料。

5. 單SAS輸入連接埠配置和雙SAS輸入連接埠配置均支援冗餘和非冗餘布線。冗餘是通過在主機和存放裝置陣列之間安裝獨立的資料通路（其中每條通路對應不同的RAID控制器模組）而建立的。 由於兩個RAID 控制器均可以訪問存放裝置陣列中的所有磁碟，因此冗餘可以在通路出現故障的情況下保護主機對資料的訪問；非冗餘配置，即僅提供從主機至RAID 存放裝置的單資料通路的配置，建議僅將其用於不重要的資料存放區。 由於電纜出現故障或被拔下、主機匯流排介面卡出現故障或者RAID 控制器模組出現故障或被卸下而導致的通路故障將導致主機對RAID 存放裝置中儲存資訊的訪問失敗。

6. 下面是Dell手冊中的MD3000儲存架構的部署方式介紹

實驗開始：

1. 按照圖二在T110伺服器上安裝好SAS HBA卡

2. 按照圖四使用SAS 4X線串連T110伺服器的HBA卡到Dell PowerVault MD3000的Raid控制器上的兩個”In”輸入連接埠

3. 啟動 MD3000存放裝置陣列，兩個Raid控制器的電源都要開啟。可能需要2分鐘時間以等待陣列進行初始化

4. 啟動T110伺服器登入系統，下載MD Storage Management軟體

5. 在所有通過SAS線連結到MD3000儲存控制器的伺服器上開啟MD Storage Management軟體，選擇“Install the SAS 5/E Adapter Driver”安裝SAS HBA卡驅動(我已經提前安裝)

6. 由於我們採用帶內管理，完成5後需要繼續在伺服器上安裝MD Storage Management軟體，選擇“Install MD3000 StorageSoftware”。選擇完成安裝即可，然後重啟電腦。（重啟比較慢時間，我已經提前安裝）

7. 伺服器重啟完成後，在伺服器上啟動“Modular Disk Storage Manager Client”軟體，並添加新存放裝置陣列，選擇“Automatic Discovery”（自動搜尋）。註：搜尋過程完成可能需要幾分鐘。 停止搜尋過程後，請關閉“Automatic Discovery”（自動搜尋）狀態視窗。搜尋完成後，系統將顯示確認螢幕。新安裝的MD3000存放裝置陣列的預設名稱為“Unnamed”（未命名），可以自訂名稱為MD3000

8. （可選）如果我們使用頻外管理，即通過乙太網路口管理。我們只要將MD3000的兩個Raid控制器的乙太網路口接入到網路中，然後在內網一個客戶機上安裝MD Storage Management管理軟體，然後通過IP遠程連結MD 3000進行儲存的管理。註：預設情況下，存放裝置陣列管理連接埠將設定為DHCP配置。存放裝置陣列上的控制器無法從DHCP伺服器獲得IP配置，其將在十秒後逾時並回退到預設的靜態IP地址，預設的IP配置如下：Controller 0： IP：192.168.128.101Subnet Mask：255.255.255.0 Controller 1： IP：192.168.128.102 Subnet Mask：255.255.255.0

   當掃描發現儲存後，可以重新設定儲存管理地址和儲存名字

9. 添加完存放裝置陣列後，就可以在MD Storage Management中管理主控台的“配置>建立磁碟組和虛擬磁碟”，建立磁碟組Data並把3塊磁碟做成Raid5，並把全部容量分配給虛擬磁碟名為Data

10. 在MD Storage Management管理主控台的“配置>配置熱後備裝置>配置熱備份（手動）”中將剩下的最後一塊磁碟配置熱備磁碟。這樣當有磁碟損壞時，熱備盤直接替換有問題的磁碟使用；當重新插回修複好的磁碟時，熱備盤就會回到熱備狀態。保證資料的安全

11. 當完成以上配置後，我們就要將虛擬磁碟指派給我們的伺服器使用了。注意伺服器必須是使用SAS HBA卡通過SAS 4X線連結到MD3000儲存控制器上的。在“配置>配置主機訪問（手動）”中，將伺服器名字添加進去，然後選擇“Windows 2000/Server 2003/Server 2008 非群集” 後指定HBA主機連接埠，選擇添加即可

12. 接著在“配置>建立主機-到-虛擬磁碟映射-選擇主機”中,選擇事先建好的主機，然後將事先建好的虛擬磁碟分給同一個主機即可。

13. 重啟伺服器後可以進行硬碟分區格式化等操作，完成後可以當作本地硬碟使用。實驗完成。

             測試速度還可以接受吧

 

轉：儲存之直連儲存Dell Powervault MD 3000