其他

datanode的定義public class DataNode extends Configured implements InterDatanodeProtocol, ClientDatanodeProtocol, FSConstants, Runnable,

1.從wordcount作為入口public class WordCount{ public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); Job

http://zhiwei.li/text/tag/gdb/page/2/http://blog.csdn.net/haoel/article/details/2879  1.       想查看造成core的query,但是預設print字串的長度是200,可以set print elements 0,即可完整print全部字串.2.       Gdb的時候想要看到想要的代碼,但是一個一個的通過directory添加太麻煩了,可以一次性在gdb開始的時候將全部源碼路徑添加進去,即可自由查看.

 將所有的檔案都安裝到kt-leveldb目錄下1.安裝kyoto cabinet1.wget http://fallabs.com/kyotocabinet/pkg/kyotocabinet-1.2.75.tar.gz2../configure --prefix=/home/admin/lb-tt/kt-leveldb/3.make4.make install 2.安裝leveldb1.svn co http://leveldb.googlecode.com/svn/trunk

一、AStyle下載路徑　　Astyle為開源項目，支援C/C++和java的代碼格式化　　Home Page: http://astyle.sourceforge.net/　　Project Page: http://sourceforge.net/projects/astyle/　　下載最新Windows版本的AStyle，解壓到C盤根目錄二、Source Insight中安裝Astyle工具　　如：增加Astyle_C命令，格式化C/C++檔案　　1. 開啟source

1.git的安裝如果是源碼安裝fluent的話才需要git.wget https://git-core.googlecode.com/files/git-1.8.1.tar.gz./configure --prefix=/home/admin/fluent/deplib/make –j 12 &&make install2.ruby的安裝wget

最近想簡單的學下streaming,主要是使用python,python+hadoop在前篇博文中也有例外介紹,挺有意思.C++的話有機會也想嘗試下.記錄看到的一些網頁,作為備忘記錄下來 http://hadoop.apache.org/docs/r0.19.2/cn/streaming.html#Hadoop+Streaming 中文的,雖然版本比較老了http://hadoop.apache.org/docs/stable/streaming.html

1.client啟動並執行流程1）建立代理對象；2）代理對象調用相應方法（invoke()）；3）invoke調用client對象的call方法，向伺服器發送請求（參數、方法）；4）再等待call方法的完成；5）返回請求結果。 2.client主要的內部類主要的幾個類說明： 1. Call，表示一次rpc的調用請求2. Connection，表示一個client與server之間的串連，一個串連一個線程啟動3.

1.GFS論文 HDFS是GFS的簡化開源實現版本,瞭解GFS是不可缺少的.英文版本論文:http://research.google.com/archive/gfs.html論文中文翻譯版:http://blademaster.ixiezi.com/2010/03/27/the-google-file-system%E4%B8%AD%E6%96%87%E7%89%88/其他參考:http://www.nosqlnotes.net/archives/237 2.HDFS設計官方文檔:http:/

datanode的儲存大體上可以分為兩部分：1.與Storage相關的類從宏觀上刻畫了每個儲存目錄的組織圖，管理由HDFS屬性dfs.data.dir指定的目錄，如current、previous、detach、tmp、storage等目錄和檔案，並定義了對整個儲存的相關操作；2.與Dataset相關的類描述了塊檔案及其中繼資料檔案的組織方式，如current目錄中的檔案組織圖，以及對塊檔案的相關操作。因為namenode也會用到Storage相關，而namenode並不儲存塊檔案，因而將儲存分

DataNode節點中的儲存路徑會分別儲存不同的檔案資料區塊。HDFS對節點儲存路徑的實現被抽象成了一個StorageDirectory類。StorageDirectory檔案StorageDirectory類主要包含三個屬性:File root; // 節點儲存目錄所在本地檔案系統的目錄 dfs.data.dir中配置的一個本地路徑FileLock lock; // 排它鎖，同步控制節點對該儲存目錄的操作 in_use.lockStorageDirType dirType; //

與塊相關的操作由Dataset相關的類處理，儲存結構由大到小是卷（FSVolume）、目錄（FSDir）和檔案（Block和中繼資料等）  block相關block類有三個屬性private long blockId;//blockidprivate long numBytes;//block大小private long

文章目錄 AboutThe ProblemsWhat’s Fluentd?Log ForwardingConclusion http://blog.csdn.net/jaysuper/article/details/8021878http://docs.fluentd.org/articles/install-from-sourcehttp://blog.treasure-data.com/post/13047440992/fluentd-

DataNode上資料區塊的接受/發送並沒有採用我們前面介紹的RPC機制，原因很簡單，RPC是一個命令式的介面，而DataNode處理資料部分，往往是一種流式機制。DataXceiverServer和DataXceiver就是這個機制的實現。其中，DataXceiver還依賴於兩個輔助類：BlockSender和BlockReceiver。如下是類圖 DataXceiverServerDataXceiverServer相對比較簡單，建立一個ServerSocket來接受請求，每接受一個串連，就建

http://www.gnu.org/software/binutils/http://sourceware.org/binutils/docs-2.23.1/http://sourceware.org/binutils/docs-2.23.1/binutils/index.htmlhttp://yunli.blog.51cto.com/831344/186727 (推薦)http://wenku.baidu.com/view/fc8e70a1284ac850ad02424c.html GNU

在考慮如何壓縮那些將由MapReduce處理的資料時，考慮壓縮格式是否支援分割是很重要的。考慮儲存在HDFS中的未壓縮的檔案，其大小為1GB，HDFS的塊大小為64MB，所以該檔案將被儲存為16塊，將此檔案用作輸入的MapReduce作業會建立1個輸人分區（split

BlockSender 在DataNode節點上，主要有四個地方會用到資料區塊發送器BlockSender：1.當使用者向HDFS讀取某一個檔案時，用戶端會根據資料所在的位置轉向到具體的DataNode節點請求對應資料區塊的資料，此時DataNode節點會用BlockSender向該用戶端發送資料；2.當NameNode節點發現某個Block的副本不足時，它會要求某一個儲存了該Block的DataNode節點向其它DataNode節點複製該Block，當然此時仍然會採用流水線的複製方式，只不過資

現在hadoop的版本比較亂,常常搞不清楚版本之間的關係,下面簡單的摘要了,apache hadoop和cloudera hadoop 的版本的演化. apache hadoop官方給出的版本說明是:1.0.X - current stable version, 1.0 release1.1.X - current beta version, 1.1 release2.X.X - current alpha version0.23.X - simmilar to 2.X.X but

好吧,我有代碼格式的強迫症,代碼不整齊,我看的都頭疼,之前一直喜歡用SourceStyler C++的,但是這個在win7下貌似不能使用,只能轉向astyle了.http://www.cnblogs.com/xuxm2007/archive/2010/09/21/1832686.html關於參數的話,差不過夠用就行,不用非得調的那麼精細,比較重要的是要看代碼啊,不是這玩意 下面的url也是值得參考的:http://www.cppblog.com/jerryma/archive/2012/02/0

在代碼中常常會看見likely()和unlikely()的用法,尤其是linux核心代碼中.if(likely(value)) 等價於 if(value)if(unlikely(value)) 也等價於 if(value) 從代碼理解上,它們的效果是一致的,那麼他們的區別在哪裡呢?  這2個宏在compiler.h中如下定義: #define likely(x)       __builtin_expect(!!(x), 1)#define unlikely(x)