金山雲:做大雲存儲

來源:互聯網
上載者:User
關鍵字 這個 時候 我們 雲存儲

在這種情況下,還會有一個問題,業務邏輯和業務邏輯之間它們會進行通訊,因為真正的應用會連貫的過程,比如說,在網上拍了一個物品,不管是庫存的邏輯還是使用者這邊的邏輯,訂單處理那邊的邏輯必須都串起來,這時候有兩種方式,一種同步, 一種是非同步,同步是一個邏輯服務,另外一個邏輯服務等他返回,對要求一致性非常適用,但這種有很大的問題,很容易由一個端點引起整個系統的血崩,大家基本上可以看到,特別是網購,在做活動的時候,會出現明年買3倍伺服器, 對於電商來說是經常遇到的事情。

另外一種方式是非同步,把這個請求發過去,這個請求完成之後,由後者再通知另外一個地方,完成這業務鏈,這個對一致性要求不是那麼高的場合,對使用者評論,晚個半分鐘出來沒什麼問題,這種需要消息系統他們來做, 使用者接入這塊第一排最右邊是消息系統,有很多開源的方案,隨便選一個就可以,我們自己開發,性能上還不是太夠。 另外是在使用者接入的時候,調度系統,因為現在業務邏輯非常多,但你不可能對使用者來說,每個企業起不同的功能變數名稱,接到不同前端負載伺服器,功能變數名稱方案不是太適合,這時候需要集中調度,使用者所有請求到調度裡面去做一次清洗, 很多使用者請求是錯誤的,因為出了問題,很多業務嘗試破解你的服務,這種情況在調度裡面會清洗掉,有的不一定是惡意,有的嘗試破解你的謝意,量的時候其實是挺多的。

這張圖實際上來自我們金山雲團隊內部的技術培訓,當然畫到這張圖,當時想到一個東西,12306.CN,事實上,不管多龐大,多麼複雜的系統,其實解決方法只有一條,把它拆分,拆分成最小的力度,每個力度保自己的穩定性, 再看業務的需求,如果對持續要求非常高,就用同步模型,配置加大一點,如果要求不高,就有非同步。 到這步基本上已經能夠適應所有的網路服務需求,包括架構模型,實際上大家都殊途同歸。

我在這上面做了頁面編號,這個時候我們做的是雲存儲服務,剛才提的東西跟存儲沒什麼相關的,確實是最開始很長一段時間,9和A之間是雲存儲和其他的互聯網業務的分水嶺,這個時候要考慮開始引入存儲。 說實話,對於所有公司來說,如果要進入雲存儲領域,最合適的起步方式是去買一個專門的存放裝置,這點說起來一點不丟臉,因為這樣會省掉你很多的事情,讓你的業務變得敏捷,專用的存放裝置,這個地方寫著傳統的是千兆網, 這個還有其他的設備便宜一些,雖然說單位成本與我們的方案來說肯定要高很多,但關鍵問題是從零開始做一個雲存儲的方案,技術難度非常得大。

另外一個選擇方案,就是去應用開源,業界用得最多的還是Hodoop,如果我自己推薦,不會推薦Hodoop,不適合于金山快盤,因為像Name Node,甚至開源方案會選擇發射的DFS,TFS不適合做快盤業務。 Hodoop兩結構,一個是NameNode。 再往上走一點,我們業務裡面做一個相冊,它的檔冷熱資料呈現比較高的情況,到這塊說實話,去年開玩笑,現在國內百盤大戰,我們到目前為止快盤是領先的狀態,包括隔壁展廳WPS老朋友,許世偉同學他們也在做。 其中這100個裡面有95個都是採用買一個存放裝置或者搭一個Hodoop,我見過一個最牛的團隊是上海韓竹同學,一個人加兩個學生,三個人在那兒做,不過他現在拉的融資不做那個了,那個已經停了。

到現在為止,我們剛才已經演進了12版,對於大型的互聯網服務,到那個階段了呢? 這個地方給大家分享它在互聯網服務的第一階段,快速應對不斷增加的服務壓力,從1到C12個演進方案,非常可行,很多互聯網走過來的,可以直接用,在一個星期完成從這一步到下一步的演進。 第二個是服務端的穩定性不斷提高,最開始是單伺服器架構,很多都放在一台伺服器,這個時候伺服器穩定性可想而知,隨著後面的拆分表,不斷的做冗余伺服器穩定性達到比較高的程度。 其實做雲之後,我們之前做Office的時候,那還是2008年初,我們給自己定的目標也很高,服務穩定性做到多少個9,還是做雲之後跟業界不停的交流,大家都是從慢慢的減少停機時間特別維護時間,就像現在國內公認做得比較好的,淘寶 、騰訊,他們也會經常維護,第一階段我們覺得這樣做挺好的,隨著使用者量不斷的往上走,第一階段是驗證業務本身可行。 第二階段最主要的是,我如何在比較複雜的系統,比較大的系統裡面既能夠玻璃穩定性,又能夠保證業務敏捷性,因為要重新修改我的服務,這個時候自動化的運維繫統和中介軟體的開發就比較重要了。

第三階段國內大部分互聯網公司,這個時候服務成本增加了。

第四階段大家可以看Facebook。

我們希望快盤和金山雲簡化這個系統,圖的右邊可以看到,目前已經上線的應用和金蝶,康佳,沒上線還很多。 下面這是快盤的開放架構的介紹,一個基礎架構圖,這圖在照顧小孩的同時手繪的。 下面是金山雲技術,因為我們這個團隊是來自WPS技術氣氛比較強,因為WPS是有一個很大的系統架構組,它去負責可從用框架性的技術研究,這個基礎架構組兩個負責人,我和許世偉,我們做雲的時候也是一樣, 第一個我們希望能夠把這個基石打得很堅定,打得比較實的基礎,第二個希望業務快速敏捷的變化,總結來說做了五類:

第一個是雲存儲,這地方跟大家說,雲存儲和分散式檔案系統完全不同的兩碼事,分散式完全系統可以認為只是雲存儲裡面的十幾個子系統的其中一個,雲存儲會解決更複雜的問題。 其實在國內做雲存儲這個問題非常複雜,通過專線成本非常高,快盤開放系統給大家提供這個上面的説明。

第二個是資料框架,基本所有互聯網服務遇到資料庫的問題,特別資料庫本身快速回應的,給大家介紹技術演進的時候,大家有沒有注意到我跳過來一個領域,因為我們事實上自己做了整套冷熱資料,動態擴展一整套的框架。

第三個是虛擬化。

第四個計算框架,可以認為是APP這樣的東西。

第五個是運維技術。 金山並沒有做盛大雲的模式,我們雲平臺更多的是比較傾向于支撐和快盤合作的應用,雲平臺上面就是快盤平臺,openAPI,包括快盤所有終端也可以進行合作,我畫了三個草圖,Windows、安卓的, 邁克板的快盤在幾個星期之後跟大家見面。 這個地方示意是個人使用者,還有企業使用者這條線,企業這條線晚一點推出。 快盤雲平臺架構和其他不同,簡單說和大家一起共用使用者,共用使用者資料這樣的方案,更多的是產品,更像產品上的合作。

這地方剛才也介紹過,快盤API包括兩個系統,一個是本身合作,另外一個是為很多應外提供平臺。 合作案例是剛才大家看過的牆,這個地方是關於快盤開放API,這是網址,申請一個帳號,選擇SDK可以開始了,如果有雲的需求直接和BD郵箱聯繫即可。

(責任編輯:蒙遺善)

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.