儲存行業學習資源推薦

標籤：開源軟體   服務   處理   條件   tutorial   ssd   傳統   kernel   工作   

http://blog.csdn.net/liuaigui/article/details/6144929

 

移動互連網、物聯網、雲端運算、電子商務、商業智慧、資訊搜尋、社會化網路，......，IT領域從來都不缺乏熱門技術趨勢和商業噱頭。這可苦了我等IT人，畢竟時間和精力是很有限的，我們需要選擇一兩個方向作為自己的職業或事業目標，所謂術業有專攻，選對了方向有可能事半功倍。我在這裡給力地推薦儲存行業，一個非常有潛力的領域，它是網路技術後的又一個技術浪潮。推薦理由呢？其一，物質、能量和資訊是自然科學研究的三個基本對象，處理、傳輸和儲存是資訊計算的三大基本任務。資訊儲存成為技術浪潮可以說是一種必然。其二，事實上，資料已經取代計算成為了資訊計算的中心。資訊量呈現爆炸式增長趨勢，根據預測，2020年資料宇宙將達到35.2 ZB，相比2009年增加44倍，而這其中80%以上為非結構化資料。實際需求對儲存的要求為斷提高，主要表現在超大儲存容量、高效能、可擴充性、高安全性、高可用性、高可管理性等方面。其三，儲存發展勢頭迅猛，未來市場空間巨大，新技術層出不窮，熱門技術詞兒包括PCIe3.0, FCOE, iSCSI, 10GbE, SSD, pNFS(NFSv4.1), NoSQL, 檔案系統, 叢集儲存, 雲端儲存, 高效儲存(壓縮、重複資料刪除、自動精簡配置、階層式存放區、虛擬化), 智能儲存, 綠色儲存, 資料容錯技術, 資料安全。

對於想轉入儲存行業的同學來說，儲存的基礎知識是學習的必修課。而對於已經處於儲存行業的同學來說，要想進階就得不斷地學習、思考和實踐，並且緊密關注和跟蹤儲存技術的最新發展動態。無論是學習打基礎，還是研究實踐進階，最直接的就是來自知識和經驗的傳播和交流，這方面的來源包括圖書、行業和學術會議、網站和論壇以及開放源碼等。圖書的知識更為系統全面和專業，泛蓋基礎入門層級和研究進階層級，手上應該常備幾本經典儲存圖書以便隨時學習和查閱。儲存行業會議通常會報告和分享大量的最新儲存事件、技術發展狀態以及最新研究成果，有機會親身參加這些會議自然最好，不能參會的可以下載Slides和Papers進行學習和研究，都能夠瞭解和跟蹤儲存的最新前沿發展。我們有幸處於一個好的時代，互連網的資源最為豐富和便捷，專業儲存網站提供最新的業界資訊，技術牛人會經常在部落格上發表技術文章，論壇是各路技術達人進行技術討論和交流的好地方。開源社區有大量的開放源碼可供閱讀、測試和使用，如果有時間和精力的話，還是盡量多看看源碼，自己也可以動手寫點開源軟體，實踐之外可以為開源貢獻一點微薄之力。這裡給大家推薦一些儲存學習的相關資源，並作扼要的個人點評，希望對儲存行業志同道合的朋友有些許協助，如有不當還請指正。

[儲存圖書]
WatchStor搞了個儲存精品圖書展覽，推薦的儲存圖書比較中肯，詳情請參見http://tech.watchstor.com/spec/watchstor。下面的幾本儲存圖書我基本都研讀過，簡要說說我的體會。
成就儲存專家之路，儲存基礎知識、儲存市場前景和技術趨勢兩部分內容可圈可點，為初學者提供了從入門到精通、成就儲存專家的職業規劃與培訓認證的建議。另外，對主流儲存廠商及其儲存產品、不同行業的儲存需求與規劃、行業儲存解決方案及應用和儲存架構的介紹和分析非常透徹和到位，對中進階讀者非常有價值。這本書已經讀過多次，並且經常翻閱。

大話儲存，這本書在行文上頗具特色，其作者冬瓜頭常年混跡在各大儲存論壇，近期時而出沒在彎曲評論。此書知識面比較全面，廣度有餘但深度不是很夠，不過對於初學者作為入門學習還是綽綽有餘的。大話儲存2將於2011.3出版，傳說深度加強很多，甚至達到代碼實現的層級和粒度，即時一定買本學習一下。

網路儲存技術導論｜網路儲存技術，這兩本中規中矩，作為入門級網路儲存學習也都是不錯的選擇，作為高校的教科書非常合適。
資訊儲存與管理，EMC出版的技術圖書，所涵蓋的概念、原理和方案部署理念貫穿了整個資訊儲存和管理技術的範疇。EMC在儲存界地位很重要，是很多儲存標準和協議的主要制定者和參與者。因此，該書中介紹的術語、概念、標準、技術都是標準規範的，與工業界一致的，闡述精闢到位，是非常難得的一本儲存好書。一點不足之處，書中案例都是EMC的儲存產品。

資料重現，是大話儲存的姐妹篇，對主流檔案系統的原理和資料恢複技術進行了詳解，詳細程度是絕無僅有的。這本書行文嚴謹專業，風格與大話儲存迥然不同，我同時購買了這兩本書。

基於對象的網路儲存，深入論述了對象網路儲存的協議標準SCSI和iSCSI以及相關檔案系統，諸如pNFS, Lustre, PanFS, zFS, OBFS等，是本好書。

海量網路儲存系統原理與設計，分專題介紹了RAID, Object Storage Service系統, 大規模網路儲存系統, 可用性、安全性研究, CDP以及資料備份等課題。它的最大特點是不僅討論基本原理和概念、當前的國內外狀況、設計和評價方法，還會給出一些具體的設計最佳化和實現方案的執行個體，對於研發人員非常有參考意義，這本書我從中受益頗多。

資料存放區備份與災難恢複，從事資料保護相關工作人同學們可以多看看。資料備份、歸檔、容災在儲存軟體市場中占的比率最大，其他儲存同學看看也是沒有壞處的。

SAN存放區域網路｜IPSAN權威指南，這是SAN和IPSAN方面的兩本權威圖書，致力與儲存網路研究和開發的同學可以深入學習一下。順便提一下，前一本書的譯者是我以前研究所的老師。

[儲存行業會議]
SNIA(Storavcbe Netwokring Industry Association)即儲存網路工業協會，目前會員幾乎包括了主流的儲存廠商。它每年組織的Storage Developer Conference規模非常大，吸引了眾多工業廠商和學術研究機構參加，影響非常廣泛。另外，它還會定期組織SNIA Tutorials，這也是非常有用的儲存學習材料。SNIA的SDC會議資料和Tutorials資料我基本都會下載下來學習和研究，並且重點研究自己感興趣的方向。它的資料均會公開免費下載，可以從下面URL擷取：
http://www.snia.org/events/storage-developer2010/presentations
http://www.snia.org/events/storage-developer2009/presentations
http://www.snia.org/events/storage-developer2008/presentations 
(今後或更早的，你懂的!)
http://www.snia.org/education/tutorials

Storage-Academy是SNIA的下屬機構，對這個會議我以前瞭解較少，還是看了crquan老大在Tektalk上發表的文章才瞭解的，後面下載了2010會議資料，感覺總體上和SNIA差不多。據這個會議可以申請免費參會，大家可以試試。
http://www.storage-academy.com/
http://www.storage-academy.com/presentations/sg/ (密碼是sgdel10，crquan提供的，運氣不錯的話的應該還有效)

Linux Storage & Filesystem workshop, 讀研時經常研讀該會議的論文, USENIX大家應該比較熟悉吧，LSF以前一直是由其舉辦的，2009年之後轉由Linux Foundation 舉辦。LSF偏學術研究，主要涉及Linux系統上的儲存技術和檔案系統，相對來說比較適合在讀的同學，學術科研界儲存前沿資訊比較充足。值得稱道的是，所有資料都是免費下載的，而且是永久存檔的。
http://www.usenix.org/event/lsf08/tech/
http://www.usenix.org/event/lsf07/tech/
http://events.linuxfoundation.org/events/lsf-summit

Usenix FAST(Conference on File and Storage Technologies)即檔案與儲存技術會議，FAST可能是儲存領域最好的專業會議，該會議只針對儲存相關的內容，屬於本領域最頂級的會議。它與LSF一樣屬於學院派風格，充滿學術研究氣氛。會上的模型、演算法、理論等ideas很多，但大多僅限於學術理論研究，沒有原型系統實現更別說工業級產品轉化。FAST學術研究價值非常高，值得各位同學學習和研究。
http://www.usenix.org/events/fast/

IEEE Storage Conference，大名鼎鼎的IEEE相信大家都不陌生，它的曆史非常悠久(1974年就有舉辦)，在業務影響力很大，主要關注高效能運算領域的海量儲存技術。它的參會費用高，資料也不大容易免費擷取到。以前在研究所時，倒是可以免費下載部分論文資料，現在只是偶爾從網上搜尋到相關資料。如果條件允許的話，推薦各位同學多關注它。
http://storageconference.org/

系統架構師大會|WEB效能與營運大會，這兩個國內會議都不是專業的儲存行業會議。然而近兩年互連網行業發展迅猛，這方面的儲存需求很大而且與傳統儲存有很大區別，比如小圖片儲存、VOD儲存、CDN儲存以及NoSQL等，包括結構化和非結構化的資料存放區。這些會議上互連網和儲存廠商會分享大量在儲存方面新的嘗試和經驗，涉及架構、演算法、開發、測試與營運等。參會費用較低，如果公司是贊助商，會有一定的免費參會名額；會議大多在北京、上海召開，這兩城市是IT人員的聚集地，參會很方便。如果有條件推薦大家親身參加，交流和經驗會少走很多彎路。
http://sacc.it168.com/index.html
http://velocity.oreilly.com.cn/index.php?func=schedule&page=2010-12-07

[儲存網站論壇]
InfoStor: http://www.infostor.com
InfoStor雜誌主辦的專業儲存資訊網站，發布儲存工業界新聞和分析、專家部落格和儲存Whitepapers。資訊量非常大，影響也較大，基本涵蓋儲存的所有領域，重點內容包括NAS, SAN, 儲存管理, 資料保護RAID, 歸檔等。我的很多儲存業內訊息最初都是由它擷取的，我加入了其郵件清單，基本上每天都會收到郵件並看上幾篇文章。

DoStor: http://www.dostor.com/
DOIT論壇: http://bbs.doit.com.cn
WatchStor: http://www.watchstor.com/
WatchStor論壇: http://bbs.watchstor.com/
這是國內比較有名的兩家儲存專業媒體以及它們的儲存論壇，資訊量也非常豐富，很多資訊主要源自InfoStor等國外網站，非常適合國記憶體儲人士。它們的論壇和部落格還是很有人氣的，經常有大牛和專家出沒發表評論和交流技術問題。

ChinaUnix儲存備份論壇: http://bbs.chinaunix.net/forum-34-1.html
CU儲存論壇是個臥虎藏龍之所，聚集了一大批Linux資深人士和儲存業內人士，包括儲存廠商內部人員及軟文寫手、儲存銷售和代理、儲存系統管理員、儲存開發人員以及儲存專家，人氣非常給力，討論和交流的技術問題以儲存為主但不限於此。如果有儲存問題諮詢或者相關技術交流，極力推薦到此一遊。非常有意思的，這裡經常因為技術問題而爭得不可開交，時而有大批潛水員浮出水面圍觀，甚至不乏也有相互對罵和人身攻擊。總之，這個地方很有意思。

InfoQ: http://www.infoq.com
InfoQ關注企業軟體開發領域的變化與創新，經常也會討論儲存相關的話題，當然這裡比較專業和嚴肅，比較適合架構師和開發人員。

Tektalk: http://www.tektalk.org
陳首席發起的彎曲評論，如果你是從事網路和儲存技術行業的，這個必須有。彎曲上發表的文章普遍非常專業並有深度，評論和回複則是更是精闢和激烈，在這裡不管是初學者還是資深人士都可以汲取到各自所需的東西。以前彎曲主要以網路技術話題為主，最近儲存的話題開始多了起來，有不少儲存專業人士加入進來。彎曲的讀者太多太多，往往你去公司面試的時候不知不覺就聊到了彎曲，可見影響力之廣泛。上彎曲的都知道，彎曲作者並不是很多，因為在彎曲上發表文章是需要實力的，COPY+PASTE絕對會被批得體無完膚，相信都丟不起這個面子。所以提醒大家，彎曲的水很深，水平不夠的話請謹慎試水，圍觀自然是倍受歡迎的。

[儲存開源軟體]
http://www.kernel.org
http://sourceforge.net
http://code.google.com/
http://www.oschina.net/
http://code.taobao.org/
源碼之前，沒有密秘可言。Linux torvalds, "Talk is cheap, show me the code". 對於開發和研究人員來說，源碼是最好的參考資料。儲存開放源碼中，首推linux核心源碼和SourceForge上的源碼，這些大家都懂的。Google Code以小型開源和程式碼片段為主，中國開源社區則主要是開源軟體資訊的彙集。值得一提的是，Alibaba和Taobao最近對開源很是上心，Taobao Code上開放了一些公司內部使用的儲存系統源碼，諸如Tair、TFS，不過目前平台上第三方源碼比較少。官方稱，TFS（Taobao FileSystem）是一個高可擴充、高可用、高效能、面向互連網服務的Distributed File System，其設計目標是支援海量的非結構化資料。對Distributed File System感興趣的一定不要錯過TFS，畢竟國內這方面的開源是鳳毛麟角。

儲存行業學習資源推薦