其他

  串連建立和斷開過程： CLOSED: 表示初始狀態。LISTEN: 這個也是非常容易理解的一個狀態，表示伺服器端的某個SOCKET處於監聽狀態，可以接受串連了。SYN_RCVD:

從傳統的公司專屬應用程式到中介軟體的研發，再到互連網，摸爬滾打了10多年，無論了團隊和項目的管理，還是技術架構，或許是自己平時的懶惰，還是忙於其他的事情，一直沒有好好的總結和分享，從09年開博到現在，沒寫上幾篇。該是好好總結的時候了，俗話說，好記性不如爛筆頭，一方面對於自己來說是一個梳理，另外一方面也把自己平時的經驗知識和大家一起分享，一起成長。  

資料庫大體分為以下幾類，有關係型（事務型）的資料庫，以oracle、mysql為代表，有keyvalue資料庫，以redis和memcached db為代表，有文檔型資料庫如mongodb，有列式資料庫以HBase，cassandra,dynamo為代表，還要其他的圖形資料庫、對象資料

順序表（尋找比較塊O(1)，插入效率不高O(n)）、鏈表（插入比較快0（1），只能順序查詢0（n））用順序表實現棧，用position儲存棧頂的位置，push操作，position移動，pop操作position後移動用順序表實現隊列（兩個position），push操作，隊尾position向前移動，pop操作，隊頭position向前移動。涉及到隊列溢出，進行迴路 鏈表初始化時，只有頭指標用鏈表實現棧，只修改head指標就可用鏈表實現隊列，需要兩個指標，初始化時，都指向head指標；push

自古以來，我們的價值觀就不斷強調：家和萬事興、以和為貴。但在軟體開發項目中我們經常會遇到一個問題：衝突。衝突是軟體項目開發的一種常態，無從迴避，衝突影響的好壞取決於衝突管理的成效。因此，開發專案經理常被人們戲稱為衝突經理。　　　　在衝突管理中，一旦發現衝突，就要對問題進行研究，判斷衝突的產生是否由專案工作、個人利益或個性等問題所引起，找出問題的潛在根源，然後針對實際情況提出具體的解決辦法。衝突如果解決得好，可以加快專案工作完成，節約成本，提高項目品質；如果解決得不好，則會使項目在時間進度、費用和

以前的一個電商開放平台，裡面的設計思路和理念拿出來和大家分享一下該平台統一各大電商服務提供者的服務，進行編排後提供為開放的API為各個業務產品服務。在設計平台架構時，主要考慮以下幾個因素：1、高並發和高輸送量，我們採用分段式的架構，段與段之間採用同步非阻塞方式的通訊方式，並且在http協議接入部分採用非同步servlet方式。2、整個平台的可用性，這其中包括以下幾個方面         a、整個系統的健壯可靠（QoS），包括流量控制、逾時處理、重試、排隊        

HDFS檔案系統調優  1、系統角度              儲存方式，NameNode採用raid1+0，DataNode採用磁碟組JBOD方式               在順序讀檔案的情境中，比如mapreduce，可以調整檔案系統預讀緩衝的大小。               檔案掛載設定noaptime、nodiratime，提升檔案系統的效能2、hdfs的參數最佳化             dfs.namenode.handler.count（預設是10，調大一些64）       

一、NameNode資料結構1、物理結構${dfs.name.dir}/current/{VERSION,edits,fsimage,fstime}dfs.name.dir是一個目錄列表，儲存每個目錄的鏡像。VERSION檔案是Java屬性檔案,包含運行HDFS的版本資訊。edits，是編輯記錄檔。當客戶斷執行寫操作的時，NameNode首先會在編輯日誌中寫下記錄，並在記憶體中儲存一個檔案系統中繼資料，這個描述符會在編輯日誌有了改動後更新。記憶體中的中繼資料用來提供讀資料請求服務。編輯日誌會在每

1.以最簡單的方式實現架構,合適的，恰到好處的2.最後關頭決定架構3.發揮集體的力量4.按照使用者的需求（非功能）　　(1). 這個應用是事務型的還是分析型的，即偏向於 OLTP 還是OLAP　　(2). 系統的即時性：不是指對使用者請求的即時響應，而是指系統對現實世界的即時反映　　(3). 資料交換方面的特徵：每次互動涉及的資料量；資料的來源及流向　　(4).

1. 概述排序演算法是電腦技術中最基本的演算法，許多複雜演算法都會用到排序。儘管各種排序演算法都已被封裝成庫函數供程式員使用，但瞭解排序演算法的思想和原理，對於編寫高品質的軟體，顯得非常重要。本文介紹了常見的排序演算法，從演算法思想，複雜度和使用情境等方面做了總結。2. 幾個概念（1）排序穩定：如果兩個數相同，對他們進行的排序結果為他們的相對順序不變。例如A={1,2,1,2,1}這裡排序之後是A = {1,1,1,2,2} 穩定就是排序後第一個1就是排序前的第一個1，第二個1就是排序前第二個1

目前業界大概這麼幾個開源的分布式日誌系統，notify+rsync，Facebook 的Scribe，apache的chukwa，linkin的kafa和cloudera的flume。對這幾款開源分布式日誌系統的比較，參見這篇文章，講的比較細緻http://dongxicheng.org/search-engine/log-systems/之所以自己設計一台這麼一個平台，而沒有採用開源，主要是基於這麼考慮 

 總結了一下HDFS的幾種HA機制，簡單從幾個角度做了個比較，參見以下的類表 方案說明優點缺點恢複方式SecondnaryNameNode

 Observer包括MasterObserver，RegionObserver和WALObserver，就類似RDBMS裡面的trigger，Observer能夠讓我們針對Hbase的各種事件（比如put操作、get操作、Region的split或者是move等等）hook我們的代碼，可以讓我們的代碼在這些事情對應操作之前執行(pre*)還是之後執行(post*)，需要注意的就是我們hook的代碼操作的對象是region，如果要操作所有的region就要靠endpoint了；   

當前大多數的PC機都是NUMA架構的，numa架構可以參考http://www.fmslib.com/fmsman/doc/numa.htmlNUMA的架構的記憶體配置有以下四種：1、default,總是分配在進程啟動並執行節點上的記憶體，這是預設值2、bind,強制把進程綁定到指定的CPU節點，進行記憶體配置3、interleave，在所有節點上交織分配4、preferred,在指定節點上分配，失敗則在其他節點上分配預設的分配策略，會導致CPU節點之間記憶體配置不均勻，當某cpu節點記憶體不足

串流、Realtime Compute、Add-hoc、離線計算、即時查詢 這幾個概念在資料處理中經常提高，這裡簡單的梳理一下他們的區別。流處理、Realtime Compute屬於一類的，即計算在資料變化時，都是在資料的計算即時性要求比較高的情境，能夠即時的響應結果，一般在秒級，Yahoo的S4,twiter的storm都屬於流處理和Realtime

優先隊列，顧名思義，就是一種根據一定優先順序儲存和取出資料的隊列。它可以說是隊列和排序的完美結合體，不僅可以儲存資料，還可以將這些資料按照我們設定的規則進行排序。先說說優先隊列的實現吧。有一點需要澄清，很多人一直以為Priority Queue就是一個Priority

 HMasterInterface:client和Master之間的RPC介面HRegionInterface: client和RegionServer之間的RPC介面HMasterRegionInterface: regionServer和Master之間的RPC介面以上三個類是用戶端獲得的服務端邏輯實現的代理類stubHConnection: zookeeper 叢集（HBase）的串連，可以通過掃描META表對region進行定位（緩衝），擷取到Server的stub，擷取表schema，

代碼$.extend({ getUrlVars: function(){ var vars = [], hash; var hashes = window.location.href.slice(window.location.href.indexOf('?') + 1).split('&'); for(var i = 0; i < hashes.length; i++) { hash = hashes[i].split('=');

    Flume的架構基本agent-->collect-->storage的架構，agent主要負責日誌的產生，並把日誌傳給collector端，collect負責把agent發送的日誌收集起來，發送給storage儲存，storage負責的儲存；其中agent和collect本身都是source,sink架構，所謂source、sink，類似產生者和消費者的架構，他們之間通過queue傳輸，解耦。   

之前給大家介紹兩種浮動閉合的辦法CSS清除浮動