前段時間給大家介紹過各大網站架構總結筆記(MySpace、Flickr、YouTube、PlentyOfFish、WikiPedia),喜歡架構的朋友可以去看看。這兩天,我又陸續從互連網上整理了幾個優秀網站的架構資訊,並將部分文章整理到了自己的另一個部落格,今天把它們拿出來分享給大家,希望能給大家帶來一點啟發,另外,歡迎一起討論,有比較好的架構資訊大家也可以拿出來一起分享一下:)
1、Google架構
老大當然要放第一位,Google的架構非我們這些平凡之輩一兩天能夠瞭解的,這裡也只是大概地整理一下:
--GFS,Google的強有力的面向大規模資料密集型應用的、可伸縮的Distributed File System
--MapReduce,Google的分布式並行計算系統,GFS儲存資料,而MapReduce則是以最快最可靠的方式處理資料。
--BigTable,Google基於GFS和MapReduce之上的用來儲存結構化資料的解決方案,有了它,不僅可以儲存結構化的資料,而且可以更好的管理和做出負載平衡決策。
Google架構的詳細資料
2、優酷網架構
在國內,上不了YouTube,只能看看優酷了,說實在優酷在國內算是做的不錯了,視頻載入速度明顯比馬鈴薯什麼的要快,那就看看他的架構吧:
--自建的一個模組化的CMS系統,前端十分靈活
--mysql資料庫從單台MySQL伺服器(Just Running)到簡單的MySQL主從複製、SSD最佳化、垂直分庫、水平sharding分庫,解決資料庫伺服器的靈活橫向擴充。
--為了避免記憶體拷貝和記憶體鎖,沒有(很少)用內容緩衝。
--最核心的是構建了比較完善的CDN網路,就近原則,讓你看視頻時從離你最近的伺服器上擷取視頻資訊,所以我們看優酷比馬鈴薯要快,原因就在這裡。
優酷網架構的詳細資料
3、Twitter架構
twitter,怎麼說呢,說他簡單麼還真簡單,但又是那麼複雜,真是糾結。話說這140個字的鼻祖讓國內的某某某非常風騷,算了不跑題了,說說他的架構吧:
--平台比較廣泛:
- Ruby on Rails:web應用程式的架構
- Erlang:通用的面向並發的程式設計語言,開源項目地址:http://www.erlang.org/
- AWStats:即時日誌分析系統:開源項目地址:http://awstats.sourceforge.net/
- Memcached:分布式記憶體緩衝組建
- Starling:Ruby開發的輕量級訊息佇列
- Varnish:高效能開源HTTP加速器
- Kestrel:scala編寫的訊息中介軟體,開源項目地址:http://github.com/robey/kestrel
- Comet Server:Comet是一種ajax長串連技術,利用Comet可以實現伺服器主動向web瀏覽器推送資料,從而避免用戶端的輪詢帶來的效能損失。
- libmemcached:一個memcached用戶端
- 使用mysql資料庫伺服器
- Mongrel:Ruby的http伺服器,專門應用於rails,開源項目地址:http://rubyforge.org/projects/mongrel/
- Munin:服務端監控程式,項目地址:http://munin-monitoring.org/
- Nagios:網路監控系統,項目地址:http://www.nagios.org/
--細化memcached,同時建立向量緩衝Vector Cache、行緩衝Row Cache、片段緩衝Fragmeng Cache、緩衝池Page Cache
--給力的訊息佇列,用Ruby寫的一個分布式隊列 Starling
Twitter架構的詳細資料
4、Yupoo網站架構
一個試圖做國內最好的圖片服務提供者,雖然和Flickr還有點差距,但也不錯了,話說搞圖片和視頻的是很燒伺服器和頻寬的,在國內這麼貴的頻寬也挺不容易的,好了,一起看看他的架構吧:
--Squid,這個貌似做圖片緩衝挺好使的,而且還是分布式的,可以硬碟命中和記憶體命中,速度都還不錯。
--MogileFS圖片儲存
--mysql分庫設計,垂直分庫,水平sharding,跨庫關聯查詢
--透明的緩衝設計
Yupoo架構的詳細資料
5、Amazon網站架構
這個Amazon從小書店開始現在成了全球商品品種最多的網上零售商和全球第2大互連網公司,貌似很風光嘛,那架構一定很犀利的,下面一起來看看:
--平台,Linux、oracle、C++、Perl、Mason、Java、Jboss、Servlets
--Dynamo Key-Value儲存架構,有關Dynamo的更多資訊請參看:http://baike.baidu.com/view/2982765.html?fromTaglist
Amazon架構詳細資料
好了,先就介紹這幾個,有空再找幾個看看,說實在看架構比看阿凡達刺激,多看看有益身心健康。
最後歡迎大家有空逛逛我的青藤屋,玩blog沒人氣太沒意思了。。。大家晚安了!
轉自http://www.cnblogs.com/sxwgf/archive/2011/08/16/2141632.html
前段時間給大家介紹過各大網站架構總結筆記(MySpace、Flickr、YouTube、PlentyOfFish、WikiPedia),喜歡架構的朋友可以去看看。這兩天,我又陸續從互連網上整理了幾個優秀網站的架構資訊,並將部分文章整理到了自己的另一個部落格,今天把它們拿出來分享給大家,希望能給大家帶來一點啟發,另外,歡迎一起討論,有比較好的架構資訊大家也可以拿出來一起分享一下:)
1、Google架構
老大當然要放第一位,Google的架構非我們這些平凡之輩一兩天能夠瞭解的,這裡也只是大概地整理一下:
--GFS,Google的強有力的面向大規模資料密集型應用的、可伸縮的Distributed File System
--MapReduce,Google的分布式並行計算系統,GFS儲存資料,而MapReduce則是以最快最可靠的方式處理資料。
--BigTable,Google基於GFS和MapReduce之上的用來儲存結構化資料的解決方案,有了它,不僅可以儲存結構化的資料,而且可以更好的管理和做出負載平衡決策。
Google架構的詳細資料
2、優酷網架構
在國內,上不了YouTube,只能看看優酷了,說實在優酷在國內算是做的不錯了,視頻載入速度明顯比馬鈴薯什麼的要快,那就看看他的架構吧:
--自建的一個模組化的CMS系統,前端十分靈活
--mysql資料庫從單台MySQL伺服器(Just Running)到簡單的MySQL主從複製、SSD最佳化、垂直分庫、水平sharding分庫,解決資料庫伺服器的靈活橫向擴充。
--為了避免記憶體拷貝和記憶體鎖,沒有(很少)用內容緩衝。
--最核心的是構建了比較完善的CDN網路,就近原則,讓你看視頻時從離你最近的伺服器上擷取視頻資訊,所以我們看優酷比馬鈴薯要快,原因就在這裡。
優酷網架構的詳細資料
3、Twitter架構
twitter,怎麼說呢,說他簡單麼還真簡單,但又是那麼複雜,真是糾結。話說這140個字的鼻祖讓國內的某某某非常風騷,算了不跑題了,說說他的架構吧:
--平台比較廣泛:
- Ruby on Rails:web應用程式的架構
- Erlang:通用的面向並發的程式設計語言,開源項目地址:http://www.erlang.org/
- AWStats:即時日誌分析系統:開源項目地址:http://awstats.sourceforge.net/
- Memcached:分布式記憶體緩衝組建
- Starling:Ruby開發的輕量級訊息佇列
- Varnish:高效能開源HTTP加速器
- Kestrel:scala編寫的訊息中介軟體,開源項目地址:http://github.com/robey/kestrel
- Comet Server:Comet是一種ajax長串連技術,利用Comet可以實現伺服器主動向web瀏覽器推送資料,從而避免用戶端的輪詢帶來的效能損失。
- libmemcached:一個memcached用戶端
- 使用mysql資料庫伺服器
- Mongrel:Ruby的http伺服器,專門應用於rails,開源項目地址:http://rubyforge.org/projects/mongrel/
- Munin:服務端監控程式,項目地址:http://munin-monitoring.org/
- Nagios:網路監控系統,項目地址:http://www.nagios.org/
--細化memcached,同時建立向量緩衝Vector Cache、行緩衝Row Cache、片段緩衝Fragmeng Cache、緩衝池Page Cache
--給力的訊息佇列,用Ruby寫的一個分布式隊列 Starling
Twitter架構的詳細資料
4、Yupoo網站架構
一個試圖做國內最好的圖片服務提供者,雖然和Flickr還有點差距,但也不錯了,話說搞圖片和視頻的是很燒伺服器和頻寬的,在國內這麼貴的頻寬也挺不容易的,好了,一起看看他的架構吧:
--Squid,這個貌似做圖片緩衝挺好使的,而且還是分布式的,可以硬碟命中和記憶體命中,速度都還不錯。
--MogileFS圖片儲存
--mysql分庫設計,垂直分庫,水平sharding,跨庫關聯查詢
--透明的緩衝設計
Yupoo架構的詳細資料
5、Amazon網站架構
這個Amazon從小書店開始現在成了全球商品品種最多的網上零售商和全球第2大互連網公司,貌似很風光嘛,那架構一定很犀利的,下面一起來看看:
--平台,Linux、oracle、C++、Perl、Mason、Java、Jboss、Servlets
--Dynamo Key-Value儲存架構,有關Dynamo的更多資訊請參看:http://baike.baidu.com/view/2982765.html?fromTaglist
Amazon架構詳細資料
好了,先就介紹這幾個,有空再找幾個看看,說實在看架構比看阿凡達刺激,多看看有益身心健康。
最後歡迎大家有空逛逛我的青藤屋,玩blog沒人氣太沒意思了。。。大家晚安了!
轉自http://www.cnblogs.com/sxwgf/archive/2011/08/16/2141632.html