其他

對叢集服務來說，負載平衡演算法的重要性不言而喻，從演算法實現複雜及可靠性的角度考慮，大致可分為三個層次1. 盲狙主要包括：1）Hash法根據某種hash演算法將請求發往叢集節點。2）輪轉法顧名思義，將叢集所有節點群組成一個環形隊列，服務要求順序取隊列中的服務節點服務。2.

1. 概念A distributed hash table (DHT) is a class of a decentralized distributed system that provides a lookup service similar to a hash table。 (key,value) pairs are stored in a DHT, and any participating node can efficiently retrieve the value

I've gathered together in one place a few lessons in scalability from seven of the most highly trafficked websites around. I've grabbed this primarily from various articles on the excellentHigh Scalability Blog and have summarized the main points

ZooKeeper是Apache Hadoop的一個子項目，其實現的功能與Google的Chubby基本一致，主要是用來解決分布式應用中經常遇到的一些資料管理問題，如：統一命名服務、狀態同步服務、叢集管理、分布式應用配置項的管理等。資料模型：zookeeper維護一個層次關係的資料結構，其非常類似於一個標準的檔案系統，如下：和檔案不一樣的是，/app1（檔案系統中的目錄）這樣的節點也可以關聯資料。我們把zookepper的節點成為znode。znode具有如下特點：1.

1. 概述gossip，顧名思義，類似於流言傳播的概念，是一種可以按照自己的期望，自行選擇與之交換資訊的節點的通訊方式gossip, or anto-entropy,  is an attractive way of replicating state that does not have strong consistency requirements2. 演算法描述假設有 {p, q, ...} 為協議參與者。 每個參與者都有關於一個自己資訊的表。用程式設計語言可以描述為： 記

 1.  安裝用戶端（通過端使用者可以方便的和叢集互動）2. 修改用戶端~/.bashrcaliashadoop='/home/work/hadoop/client/hadoop-client/hadoop/bin/hadoop'  #hadoop可執行檔位置alias hls='hadoop fs -ls' alias hlsr='hadoop fs -lsr'alias hcp='hadoop fs -cp ' alias hmv='hadoop fs -mv'

摘要：說到DOS下的RTS（Real-Time Strategy）遊戲，不得不提起Warcraft！它被認為是現代RTS的鼻祖之一，本文由魔獸之父Patrick Wyatt親自操刀，重現當年Warcraft開發的日子，並闡述Warcraft開發所遵守的理念。導讀：回到那個PC遊戲還是運行在DOS系統的時代，DOOM、極品飛車和波斯王子等遊戲影響了一代人，當然也有國產的仙劍奇俠傳等經典之作流傳下來。但是說到DOS下的RTS（Real-Time

從事高效能後台服務的開發2年，做大的支援是17w/s的訪問100%cpu。這個資料是前幾天在一個Server終極測試中得出的。其實後台伺服器的反映快慢取決於其服務的類型。幾個資料是這樣的。記憶體訪問：300w/s.即us層級。訪問一次300ns。sock訪問us層級。磁碟訪問ms層級。包括資料庫。如果只靠訪問記憶體，你的Server應該處理30W/s的訪問才能算達到要求。這個後續主要受限於fd的通知機制和高並發能力的epoll架構。當在網路層做到核心級最佳化，並且儘可能去掉核心中的鎖，應該提高到

有一群人，他們積極自律，每天按計划行事，有條不紊；他們不張揚，把自己當成最卑微的小草，等待著人生開出花朵的那天。他們早晨5點多起來健身，你在睡覺；7點開始享受豐盛的早餐，蛋白質維生素澱粉粗纖維樣樣俱全，為新的一天起了一個好頭，當他們收拾妥當準備開始一整天的工作時，你還在睡覺；他們用上午的高效時間完成了一個又一個任務，甚至發現的新的商機，發現了有可能給人生帶來改觀的機遇，當午餐時間臨近，他們伸了伸腰，準備稍作休息，此時你終於起床。他們的午餐不鋪張浪費，卻營養全面，他們有選擇的進食，因為清楚的知道自

1. Code Review目的     Code Review是一種通過複查代碼提高代碼品質的過程，在XP方法中佔有極為重要的地位，通過code review，主要達到以下目的：           1). 提高代碼品質           2).及早發現缺陷，降低處理缺陷的成本           3).分享，提高團隊成員開發水平2. Code Review內容       Code Review內容的三個層級：           1).

1. 概述Ganglia是一個可伸縮的分布式監控系統。它是基於分層設計，廣泛使用各種成熟的技術，例如：1. XML：資料標示，2. XDL(External Data Representation)：XDR提供了一種與體繫結構無關的表示資料，解決了資料位元組排序的差異、資料位元組大小、資料表示和資料對準的方式。使用XDR的應用程式，可以在異構硬體系統上交換資料3.RRDTool(Round Robin)：資料存放區和資料視覺效果。RRDtool是指Round Robin Database 工具（

Quora question: Is twenty-six too old to become a developer?來自Quora的一個問題：26歲才開始做開發會不會太遲My answer:The simple answer is “Absolutely not”.比較簡單的答案是，“一點都不會”。The complex answer, I want to share you a real story which is happening around

<style type="text/css">        Image        {            width:100px;            height:100px;            }    </style>    <script type="text/javascript">    //方法1：        function showimage() {           

轉自：http://www.aqee.net/the-rise-of-worse-is-better/我和幾乎所有的Common Lisp和CLOS(Common Lisp Object System)的設計者都極度深受麻省理工學院/斯坦福大學(MIT/Stanford)設計風格的影響。這種風格的本質可以用“正確的做法(the right

  今天上午十點出發，由親戚領著，從宋家莊地鐵站出發，我傻乎乎地連地鐵都不會乘坐··· ···連刷那個卡都不會，在顯示屏上使勁刷了半天，結果旁邊一大爺說：往圓圈上刷··· ···一群人猶如地球人看火星人一樣看著我，各種糗，各種囧。       從5號線轉乘10號線，到三元橋。（話說這地鐵呼呼剛開車就停車，一會兒就是一站，真是好快啊）。舉目四望，一片茫然，果斷給人事打電話問路，在曆經了某些磨難後，終於找到了時間國際h座710室。      

 <script type="text/javascript">        function addnode() {            var pnode = document.createElement('p');            var tnode = document.createTextNode('煙花三月下揚州');            pnode.appendChild(tnode);           

        我們知道，一個典型的Map-Reduce過程包括：Input->Map->Patition->Reduce->Output。Pation負責把Map任務輸出的中間結果按key分發給不同的Reduce任務進行處理。Hadoop 提供了一個非常實用的partitioner類KeyFieldBasedPartitioner，通過配置相應的參數就可以使用。通過KeyFieldBasedPartitioner可以方便地實現二次排序。 使用方法：    

1. 概述       棧，就是那些由編譯器在需要的時候分配，在不需要的時候自動清除的變數的儲存區。裡面的變數通常是局部變數、函數參數等；和堆相比，棧通常很小，在linux下，通過ulimit -s可以查看棧的大小。      所謂棧溢出，是緩衝區溢位的一種，本質上是寫入棧的資料超過棧的大小，使得資料寫入其他單元，往往造成不可預期的後果，最常見的就是程式崩潰。2. 執行個體一個棧溢出的程式：#include <iostream> using namespace std;

        我們知道，Hadoop streaming架構預設情況下會以'/t’作為分隔字元，將每行第一個'/t’之前的部分作為key，其餘內容作為value，如果沒有'/t’分隔字元，則整行作為key；這個key/tvalue對又作為reduce的輸入。hadoop 提供配置供使用者自主設定分隔字元。      -D stream.map.output.field.separator ：設定map輸出中key和value的分隔字元      -D

Tcmalloc早有耳聞，沒有進行過細節的瞭解，直到最近有同事在幾個模組中使用，才領略到它的強大！情境：模組多線程並發處理輸入資料，大量使用各種STL容器，運行記憶體30G。程式重啟，匯入曆史後，處理速度變慢，數個小時候後才能回到正常處理速度，處理速度慢期間，cpu idle高分析：重啟後，緩衝的記憶體被收回，大量記憶體需要重新分配，cpu頻繁鎖在malloc上解決：1. 使用STL記憶體