並行NFS: 打破NFS 的效能瓶頸

來源:互聯網
上載者:User
這個頁麵包括有關pNFS的介紹—一種新出現的並行I/O標準,它是現在普遍使用的NFS標準的下一個主要擴充部分。Panasas積極推廣pNFS標準和並行儲存空間。

    事實上,pNFS的想法產生於2003年Garth Gibson(Panasas的創始人和CTO)和美國拉斯阿拉莫斯國家實驗室的Gary Grider及Sandia國家實驗室的Lee Ward的一次交談中。.這個初始的突發奇想在2003年之後由一個從事NFS並行儲存空間擴充的工作室繼續研究,這個工作室由Gibson和密執安大學資訊技術整合中心的Peter Honeyman主持。

    更多的合作和交談導致了2004年向IETF組織提交了初始向題陳述。這份陳述由Gibson和Panasas的Brent Welch及網路裝置公司的Peter Corbett撰寫。從這時開始,行業的支援和介入穩定地增加導致了IETF工作群組在2006年把pNFS納入NFSv 4.1小版本草案中。Gibson,Welch和其他許多Panasas的人員繼續全力推動這個標準向前發展。

並行基礎知識:pNFS介紹

    最近幾年,高效能資料中心已經快速向並行技術轉移,比如叢集計算和多核心處理器,這些加速了並行應用的開發和廣泛使用。.  

    雖然這種並行使用的增加解決了大多數的計算瓶頸,它卻把效能瓶頸轉移到了儲存I/O系統。隨著主StreamCompute轉向並行,儲存子系統也需要轉移到並行技術。為了成為通用的方式,需要一個標準的方法,能夠從多個儲存供應商選擇存放裝置並且從任何用戶端都能自由的存取並行儲存空間。

    為了轉向高一等級的效能水平,當儲存系統依附到一個經濟有效標準時必須對並行做最佳化。NFS,當前流行的網路檔案系統標準並不支援並行I/O,主要儲存供應商提供的現有並行產品也不能彼此相容。在業界提供出一個並行儲存的標準之前,使用者選用裝置都將繼續受到妨礙,他們勉強的部署一套存在許多不相容的並行儲存系統。.  

    今年稍後,IETF工程工作群組NFS v4 小組委員會預計將結束並行NFS(pNFS )協議的工作,它將是NFS 版本4.1 RFC的一部分。這個裡程碑將使NFS V4.1從網際網路草案成為一個推薦標準。並行NFS能夠在用戶端和存放裝置之間直接並行傳送資料,不需要昂貴的中繼資料管理器(filer head)。期望它支援Linux,Windows和主要的UNIX版本如Solaris和AIX。.  

    這個新標準正在由一個儲存行業的技術領導者組成的聯盟共同開發,包括Panasas,IBM,EMC,Network Appliance,Sun和密執安大學的資訊技術整合中心。

當今NFS 遇到的挑戰

    為了瞭解pNFS是如何工作的,首先必須瞭解在一個典型的NFS結構中當用戶端試圖存取一個檔案時是如何進行的。圖1展示了一個傳統的NFS結構。你可以看到NFS伺服器位於用戶端電腦和實際的實體儲存體裝置之間。當用戶端想要存取儲存空間上的檔案時,它必須建立一個到NFS伺服器的串連(也就是建立一個安裝點)。當用戶端試圖存取存檔案時NFS伺服器起仲裁者的作用,管理所有需要的資料處理,把資料傳送到提出請求的用戶端。

    由較少的用戶端訪問相對較小的資料集時這種結構工作的很好,通過直接連接的儲存空間能夠收到顯著的效益(就象你PC上的磁碟);也就是資料能夠由多個用戶端共用,能夠由任何有NFS能力的用戶端訪問。可是如果大量的用戶端需要訪問資料或太大的資料集時,NFS伺服器很快就變成了一個瓶頸,抑制了系統效能。pNFS從根本上消除了這個瓶頸,允許從許多許多用戶端以難以置信的速度快速存取非常大的資料集。

pNFS 消除了瓶頸

    這裡我們可以看到pNFS如何修改了NFS結構,消除了我們剛才提到的效能瓶頸。實質上的變化是NFS伺服器移動到了帶外,變成了一個中繼資料服務器。意思就是它管理著有關資料布局的資料。那麼當一個用戶端需要存取資料時它需要做什麼呢?.  

    它首先要做的是與NFS伺服器聯絡就象先前例子中所做的一樣。可是這次伺服器提供給用戶端一個到哪裡去尋找所要資料的布局圖和讀/修改/寫這些資料的授權書。一旦用戶端有了這兩部分,它存取資料時就直接與存放裝置聯絡。使用傳統的NFS時資料的每個位元都要通過NFS伺服器,使用pNFS時NFS伺服器從主要資料通路中移出來了,允許用戶端自由地和快速地存取資料。當然所有的NFS的優點都繼續保留,但現在消除了瓶頸,資料能夠以並行方式以非常快的吞吐率被訪問,系統容量能夠容易的擴充而不影響總效能。

 

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.