其他

自動模式這個詞問世以來，人們似乎以定義模式為驕傲，使用模式為潮流。當單機模式的光環逐漸退出，分布式模式橫空而出，雖然只是簡短的幾句話，我相信以後會有詳細的介紹的，實在沒有，我們也可以寫嘛。下面文字引自：http://srinathsview.blogspot.com/2011/10/list-of-known-scalable-architecture.htmlLB (Load Balancers) + Shared nothing Units - 快取服務一般可以使用此種模式，比如CDNLB

如果做類似的應用，應該在協議上盡量相容業界的著名實現，既方便搶使用者，也可以避免一些可能的自創協議的問題。Amazon Dynamo DB

http://en.wikipedia.org/wiki/Stream_Control_Transmission_Protocol因為TCP的一些限制而出現了SCTP，TCP provides both reliable data transfer and strict order-of-transmission delivery of data. Some applications need reliable transfer without sequence maintenance,

這篇文章整理的不錯： http://blog.sina.com.cn/s/blog_8fa7dd41010153zx.html另外，poll/select 都有對應的ppoll/pselect，存在的理由主要是，The reason that pselect() is needed is that if one wants to wait for either a signal or for a file descriptor to become ready, then an

基於map-shffle-reduce，google的一些開發人員也實現了另外一些好用的並行計算編程架構，FlumeJava就是其中的一種。http://faculty.neu.edu.cn/cc/zhangyf/cloud-bigdata/papers/big%20data%20programming/FlumeJava-pldi-2010.pdf從介紹來看，FlumeJava的出發點應該是map-reduce

Code highlighting produced by Actipro CodeHighlighter

這是某個罪犯分析電影裡面的一句話，深有感觸。我們最近碰到記憶體緩慢上漲的問題，查了兩個星期，從glibc的記憶體劫持，記憶體緩衝，到stl allocator的分配機制，到各個模組分別統計記憶體使用量量，均沒有發現root

Google的BigTable架構在分布式結構化儲存方面大名鼎鼎，其中的MergeDump模型在讀寫之間找到了一個較好的平衡點，很好的解決了web scale資料的讀寫問題。MergeDump的理論基礎是LSM-Tree (Log-Structured Merge-Tree), 原文見：LSM

pdf download What is this GWP (Google Wide Prifile) for ? It try to give answer to the following question :What are the hottest processes, routines, or code regions?How does performance differ across software versions?Which locks are most contended?

RSM是一款不錯的靜態代碼品質檢查工具，提供程式碼數統計，複雜度統計等功能，具體見：http://msquaredtechnologies.com/m2rsm/docs/index.htmRSM supports the language syntax of ANSI C, ANSI C++, C# and Java.RSM creates HTML reports for Visual Metrics that interacts with source code hyperlinks

第3章 字元裝置驅動一些重要的資料結構以及參考關聯性： 第一步：MAJOR裝置編號的動態分配int register_chrdev_region(dev_t first, unsigned int count, char *name);int alloc_chrdev_region(dev_t *dev, unsigned int firstminor, unsigned int count, char *name); //動態分配void

在雲盛行的時代，設計一個大的系統除了考慮傳統RDBMS之外，還會考慮我們要不要使用NOSQL產品，有一個slice 聊到了這個問題：觀看抽取幾個重要的點：1. 考慮的方面：rapid development, consistency, availability, latency, scale-out, cost, elasticity, manageability2. 未來可能有三類大的系統：Analytics processing : complex offline adhoc

最近開發一個私人程式時碰到了嚴重的記憶體問題，具體表現為：進程佔用的記憶體會隨著訪問高峰不斷上升，直到發生OOM被kill為止。我們使用valgrind等工具進行檢查發現程式並無記憶體泄露，經過仔細調查我們發現時glibc的記憶體管理機制導致的，下次將發文對此深入解釋，本文只列出核心的幾個要素：1. glibc在多線程記憶體配置的情境下為了減少lock

來自: A Study of Memory Management for Web-based Applications on Multicore Processors摘要：針對web aplication，比較了default和region base的記憶體 Clerk，在single core的機器上，region base的記憶體 Clerk表現較好，但是在multi－core上，由於爭用，region base的記憶體

原文見：http://www.tbdata.org/archives/17891. 1500台機器，40000個job，每日1.5P資料量；2. 處理後的結果非壓縮資料大概80T，壓縮後20T（？）3. 冷、熱資料分離4. 15000r/m的SAS盤，成本45,000/T；7500r/m的SAS盤，成本16,000/T5. 處理有大量空洞的表或者表的很多欄位都是枚舉屬性的話，關係型資料庫開銷太大，考慮NOSQL資料庫。6. 對前段提供統一的查詢介面才能增加可用性。7.

讀了部分LevelDb的code，有以下幾點感觸：1. 對資源控制的很小心：Level Db中將記憶體，檔案個數均視作資源，任何一次寫入都需要判斷當前是否有足夠的資源，比如記憶體是否超過了限定值，檔案個數是否已經太多以致持續高速寫入將會導致讀操作的IO頻繁影響效能等；任何一個指標達到了閾值則開始流控，比如每次寫入delay 1ms等。2. 檔案compaction的啟動標準給出了一個量化指標： // We arrange to automatically compact this

前段時間看到了Amazon 位於Virginia的資料中心down機，使得很多架設於Amazon雲端服務上的網站訪問不了，引起了很大的反響和討論，當時我認為幾個小時內應該能夠恢複正常，結果居然是以天計數的，下面列一下幾個重要的時間點，並說一點自己的想法：At 12:47 AM PDT on April 21st, incorrect traffic shift operation lead to disaster.At 2:40 AM PDT on April 21st, the team

隨著資料量的增加，單個partition serve的資料越來越多，效能會逐漸層的糟糕，這時候partition split就閃亮登場了。HBase的partition split可以通過命令列出發，實現在client/HBaseAdmin.java裡面，其參數包含region，split pointer（Oracele裡面的list partition定製化更強，允許指定PK list來進行partition，不過一般情況下用不到那麼細的水平）HRegionServer收到partition

在網上看到幾個類似的尋找缺失/重複元素的面試題，總結起來有兩類：1. 有N個整數組成的數組，數組中每個整數n：1<=n<=N，並且僅出現一次，其中有一個數出現了2次或者缺失了某一個數，求這個數是多少?2.

線上系統如果出現了錯誤而且沒有堆棧資訊，那將是多麼的恐怖！所以在系統可能出現錯誤的地方我們都要儘可能的將資訊描述清楚，其中最重要的資訊包括堆棧調用以及堆棧變數；堆棧調用的列印是可以藉助backtrace機制實現的，下面記錄一下其用法。以下函數說明來自：http://www.gnu.org/s/libc/manual/html_node/Backtraces.htmlint backtrace (void **buffer, int size) The backtrace function