【先鋒】七牛雲存儲：三年磨一劍及背後核心技術解析

談及七牛的定位，七牛雲存儲CTO韓拓表示當下IssS和PaaS的邊界已經模糊化，客戶變得更加理性，他們更加關注雲存儲產品帶給他們的實際價值。 在這樣的市場態勢下，七牛以資料為自己的核心價值，並圍繞資料這個主題為企業提供豐富的周邊功能，如上傳下載CDN加速、資料處理、分析、自訂計算平臺等業務。

從2011年成立以來，七牛目前累計擁有15萬企業和開發者客戶，而談到七牛的優勢，他表示對業務的專注、雄厚的技術實力、獨特的產品風格以及良好的服務意識是七牛成功的關鍵。 七牛目前的100多名員工中，技術崗位占一半以上，核心技術團隊來自金山、盛大雲、百度等公司，其多資料中心的廣域網路分散式架構，雙資料中心間的互備，低成本、高可用性的冗余演算法等核心技術都是七牛在雲存儲領域不斷打磨、優化而來， 他坦言，七牛自成立三年以來，可以說只做了一件事那就是存儲。 本文來自對韓拓的採訪整理。

七牛雲存儲CTO 韓拓

七牛的團隊、定位、使用者規模

CSDN：首先介紹下自己和七牛，目前的技術團隊情況？

韓拓：我2007年畢業後的第一份工作在金山軟體，進入當時剛剛成立的金山實驗室，主要參與分散式存儲系統的研究和實踐。 2008年金山開始金山快盤專案，我帶領存儲團隊主導了快盤第一版存儲系統的設計、研發與上線。 之後我到上海，加入一個網路遊戲的創業團隊，全面參與遊戲服務端架構、開發和3D渲染方面的工作。 2011年七牛雲存儲成立，我有幸在創業之初加入，參與七牛雲存儲的產品設計、研發和運維，並在七牛工作至今。

七牛目前有100多名員工，技術崗位占一半以上，按產品和職能分為10余個部門，核心技術團隊來自金山雲、盛大雲、百度等公司。 從創業至今七牛已經走過3年，這3年裡我們打造了國內領先的雲存儲產品，得到了15萬的企業和開發者的信任，並成為他們的雲存儲供應商，日上傳檔數億個，獨立的活躍IP數已經覆蓋了中國一半的線民。

CSDN：你覺得目前國內外雲存儲市場態勢是什麼樣的？ 七牛在其中的定位是什麼？

韓拓：自Amazon推出AWS產品以來，雲存儲的市場一直在快速發展，隨著雲存儲產品易用性和品質的不斷提升、成本的不斷下降，已有越來越多的企業選擇使用雲存儲構建自己的業務，或使用雲存儲替代原有的傳統存儲方案，尤其在最近1年 ，隨著傳統行業的互聯網化，我們觀察到雲存儲的市場容量在非常迅速的擴大，我們相信隨著這波變革的浪潮，雲存儲的市場會到達爆發的臨界點。

從產品來說，雲存儲的產品形態發展到今天，與2007年左右這個概念剛剛興起時已有很大不同，一方面市場上出現了很多基於雲存儲的PaaS產品，讓開發者可以更便利的使用雲存儲，另一方面IaaS廠商也在不斷上浮， 推出了很多更有針對性、更垂直化的產品，從今天的市場態勢看，IssS和PaaS的邊界已經模糊化，客戶也變得更加理性，他們更加關注雲存儲產品帶給他們的實際價值，這些都是雲存儲真正落地， 成為全球範圍被廣泛認可的IT基礎設施的信號。

在這樣的市場態勢下，七牛以資料為自己的核心價值，並圍繞資料這個主題為企業提供豐富的周邊功能，如上傳下載CDN加速、資料處理、分析、自訂計算平臺等業務，接管資料產生、上傳、存儲、處理分析、下載等全部流程， 力求為企業提供全生命週期的資料管理服務。

七牛的產品應用場景非常廣泛，可以說所有涉及到非結構化資料存儲的場景都可以使用七牛，如圖片、視頻類的APP、靜態網站或網站的靜態資料、UGC類的業務、線上教育、視頻監控、直播、SNS、音樂類業務、備份和冷資料存儲、網盤等等。

CSDN：七牛目前的使用者規模如何，有哪些重量級的客戶？

韓拓：如剛才所說，七牛目前有15萬企業和開發者客戶，新增客戶大概幾百到上千不等，其實不乏一些重量級和明星企業，如美圖、camer360、窮游、海康、豌豆莢、陌陌等。 站在客戶的角度，我們能為他們提供：

首先成本方面，一個是降低開發成本，企業不必再自己研發一套存儲系統了；一個是降低運維成本，託管式的雲存儲完成免運維；一個是硬體的沉沒成本，按需付費，一次性的投入小，非常適合中小企業和大企業中剛剛起步的業務。

其次收益方面，使用更專業的服務，可以增強資料可靠性和可用性，提升上傳下載速度，可以方便的使用七牛周邊的資料處理、自訂計算、資料統計、報表等服務，這些都為開發者提供了極大的便利。

核心優勢

CSDN：雲存儲一直是國內外雲巨頭的必爭之地，你覺得七牛在雲存儲領域的優勢體現在哪些方面？

韓拓：我們的優勢可以從幾個方面來談：

第一是專注。 國內外涉足雲存儲產品的巨頭很多，但是像七牛這樣專注在這個領域的公司非常少。 存儲是一個很大的話題，想做好、做深不容易，需要投入大量的時間和精力，需要有足夠的耐心，不斷去打磨、優化，需要耐得住寂寞，不被外界的誘惑所打擾，做很多看似枯燥實則非常有價值的前研性的學術研究和探索。 七牛在這方面做得非常好，我們成立三年來，可以說只做了一件事就是存儲，所以在存儲這個領域，我們才能做到有百分之一百的自信，絕不輸給任何行業巨頭。

還有一點是技術實力。 我們的核心團隊是國內最早研究分散式存儲的一批人，在這個領域已經摸爬滾打很多年，也為不同的業務做過了很多次的存儲系統，所以我們對存儲系統的設計和研發都積累了非常多的經驗。 得益于這些經驗，在七牛創建之初，我們可以用三個月的時間就上線第一版的產品，在之後的三年裡，我們做到平均每週產品更新兩、三次，通過這三年的技術積累，不斷反覆運算、打磨，自然形成了在市場上極具優勢的產品。

第三點優勢我認為是七牛獨特的做產品的風格。 雲存儲是一個比較抽象的產品，它的介面就是各種API，從這個角度來看，雲存儲的產品不好把握，在這個問題上，七牛有一套自己獨特的方法論：使用者需求驅動產品反覆運算。 剛才提到，在七牛創建之初，我們用三個月的時間上線了第一版產品，這一版的產品很簡單，只提供最普通的上傳、下載功能，在這一版本產品基礎上，我們引入種子客戶，客戶在使用過程中通常會提出自己獨特的需求，， 我們會用最快的速度回應這些需求，將需求抽象化，並在產品中實現，這個時間非常快，通常是兩、三天就可以上線，在這個過程中，產品會自然而然的得到完善。 隨著產品的完善，會引來更多的客戶，更多的客戶會帶來更多的需求，説明我們更加完善自己的產品，這是一個非常好的良性迴圈。 對產品的審美，我們從不妄自菲薄，也不會主觀自大，而是一切跟隨需求而動，這個方法論沿用至今，説明七牛的產品在市場上一直處於領先地位。

第四點我想談談服務意識。 雲存儲的核心世界觀我認為是託管二字，「託管」中的「管」字其實就是指服務，所以服務意識是運營一個雲存儲業務最核心的要素之一。 七牛一直很重視對客戶的服務，從創業之初起，我們就建立了7*24小時的技術支援、運維、開發聯動的客戶支援體系，做到第一時間回應並處理客戶的問題，對於重要問題，CEO和其它高管甚至會親自提供一對一的客戶服務， 對於需要幫助的中小企業和初創企業，我們的架構師還會深入瞭解對方的架構，並提供對應的架構建議和接入方案。 良好的服務意識彌補了一些產品上的死角，使七牛真正成為企為貼心的資料管家，我認為這也是我們能夠領先于其它雲存儲廠商很關鍵的一點原因。

技術架構

CSDN：注意到你們在雲存儲領域擁有國內先進的全分散式架構以及存儲技術，能否分享一下你們在這方面使用到的一些技術，架構和實踐經驗？

韓拓：在技術上我們引以為豪的點有很多，我選幾個大家容易理解的舉例。

第一個是多資料中心的廣域網路分散式架構。 七牛使用多資料中心技術有兩個目的：一個是多資料中心的存儲，一個是多資料中心的上傳、下載加速。 七牛在全國有數個核心的存儲機房，這些機房的規模都比較大，用於存儲客戶的資料，客戶可以根據自己的業務特點，主動選擇一個或多個存儲機房使用，或者不關心多存儲機房的架構，完全交給七牛的系統來調度資料， 這個技術給客戶提供了最大的靈活性，比如網盤類的業務，當地語系化特徵非常明顯，終端使用者通常在只同一個城市上傳和下載，這時我們就可以支援不同區域的端終使用不同區域的存儲機房，如北京的用戶端使用北京的存儲機房存儲， 上海的用戶端使用上海的存儲機房存儲，這樣資料存放的位置與使用的位置最近，獲得最好的上傳、下載速度。 還有一類業務無顯示的地域特徵，比如微博類的分享應用，資料上傳和下載的位置通常不在一起，資料由客戶自己調度就顯得很麻煩，這時就可以使用七牛的系統來調度資料，而不關心資料具體存于哪個機房。 我們會將資料先存放到離上傳最近的機房，然後根據讀取情況非同步將資料智慧調度到其它機房，包括與CDN合作建設的數百個加速節點，以獲得最好的訪問題速度。

另一個有意思的是雙資料中心間的互備。 將資料存放于一個資料中心內的風險很大，如果資料中心斷電、斷網，會造成資料的不可用，如果一個資料中心發生災難性事故，還可能會造成資料丟失，所以七牛使用了雙資料中心的互備技術。 我們將兩個資料中心用裸光纖互聯，當使用者上傳檔到某個資料中心時，系統非同步將檔資料和相關原資料同步到與之互備的另一資料中心，這樣當一個資料中心故障時，我們會根據故障的級別啟用不同的應急預案，將請求切換到與之互備的資料中心。

還有一個很重要的是低成本、高可用性的冗余演算法。 在技術上存儲系統的核心訴求是成本和可靠性，而這兩者又是一對矛盾，想降低遺失資料的風險，勢必要增加每份資料拷貝的份數，而增加每份資料拷貝的份數，又勢必增加成本，七牛使用EC冗余演算法來平衡這對矛盾。 這個演算法將一份資料拆分成M份，並將這M份資料代入一個多元線性方程組，算出N份校驗資料，然後將這M+N份資料存儲，在存儲下來的M+N份資料中，有任何一份或多份資料損壞，我們都可以通過這個多元線性方程組將損壞的資料算回， 由這個原理我們很容易得到一個結論，使用EC冗余演算法的系統最多支援N份資料損毀而不遺失資料，七牛使用了一些自己獨有的技術，將M和N都做到比較大的數值，M又遠遠大於N，使得系統的備份數非常低 — (M+N)/M （M遠大於N）， 而可靠性又非常高 — 可同時損壞N份資料（N也是較大的數值）。

安全保證

CSDN：尤其是企業級客戶對安全的重視可以說是零容忍，你們如何保證？

韓拓：企業對安全的訴求通常是兩方面，一是資料不丟失，二是資料不洩漏。 在資料不丟失方面，我前面講過七牛使用EC冗余演算法，獲得了極高的資料可靠性，並在此基礎上又引入雙資料中心互備來避免單機房災難性事故，通過這些努力，七牛做到保護企業的資料零丟失。

在資料不洩漏方面，一方面七牛通過防火牆、堡壘機、安全審計、告警機制，內外網DMZ隔離、檔資料打散存儲、中繼資料與檔資料分離存儲等技術和手段保證安全，另一方面七牛加強內部人員和流程管理， 任何內部人員的操作都通過嚴格的授權和審計，確保內部工作人員無法接觸到生產系統的資料。

中國創新「先鋒」企業系列報導 序號 公司名稱 成立時間 CEO/CTO 官方微博 公司產品/方向 1. 雲適配 2012年 陳本峰


網站適配 2. 友友 2010年 


姚宏宇


@友友微博 C、C++、JAVA產品研發 


3. 聚合資料


2010年


左磊 


@聚合資料 移動資料服務 4. Anchora 2009年 魯為民       





MoPaaS和InPaaS 


5. 夠快 2012年


蔣爍淼 @夠快科技 


雲存儲


6. 文思海輝


2012年 吳凱


@文思海輝 OpenStack公有雲       


7. 搜狐雲 2011年 邱英波


SendCloud                  


8. 聯想雲存儲 2009年 羅予晉


雲存儲 9. 南京訊之智 2012年 謝晚霞


大資料即時分析 10. 上海聖何賽 2012年 


金劍 





雲管理、雲存儲                


11. 國雲科技 


2010年


季統凱


@國雲科技 雲作業系統                


12. SSO365 2012年 趙健               





雲安全、雲身份認證 


13. ClouDil雲方案 2001年


葉濱 @世紀鼎利 


通信運營商                


14. 多備份 


2013年 胡茂華            


@木浪 雲備份                 


15. 上海越誠軟體 2011年 王煒                  


基於雲的建站軟體超市 


16. 雲智慧 2009年 殷晉 @監控寶 雲監控、基於大資料APM 17. 深圳澤雲 2012年 何巨彬


高性能存儲系統 18. 深圳智冠 2004年 盧慧莉  


手靜脈生物識別、虛擬化 19. 北京沃安科技 2009年 曹學武 @沃安科技 移動視頻技術供應商 20. 星環資訊科技 2013年 孫元浩 @星環科技 大資料分析平臺 21. 杭州數雲 2011年 宣曉華 @杭州數雲 資料採礦


22. 紅象雲騰


2012年 童小軍 @RedHadoop


基於Hadoop大資料平臺 23. APICloud 2013年 鄒達 @APICloud 雲API和端API


24. SequoiaDB


2012年 王濤 @SequoiaDB


大資料、雲計算、NoSQL 


25. Syscloud


2012年 張雄國  


雲主機虛擬資料中心 26. 易思捷 2008年 楊炳富 @易思捷虛擬化和雲計算


資料中心，虛擬化 27. 親加通訊雲 2011年 須澤中 @親加通訊雲 


通訊雲 28. OneAPM 2008年 何曉陽 @藍海訊通OneAPM 基於SaaS平臺的APM 29. TalkingData 2011年 崔曉波 @Talkingdata 移動大資料平臺 30. 北森</