其他

1) 安裝jdk 下載jdk-6u21-linux-i586.bin 然後修改/etc/profile： export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$PATH:$JAVA_HOME/bin 儲存，並執行source /etc/profile 2) 配置host Namenode的機器，需要配置叢集中所有機器的ip 修改/etc/

 hadoop對於壓縮檔的支援hadoop對於壓縮格式的是透明識別,我們的MapReduce任務的執行是透明的，hadoop能夠自動為我們

1.部署hadoop和普通的datanode一樣。安裝jdk，ssh2.修改host和普通的datanode一樣。添加namenode的ip3.修改namenode的設定檔conf/slaves添加新增節點的ip或host4.在新節點的機器上，啟動服務[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start

一、前言Make工具最主要也是最基本的功能就是通過makefile檔案來描述來源程式之間的相互關係並自動維護編譯工作。而makefile

簡介TCP延遲確認是由一些實現採用的技術，努力提高網路效能的傳輸控制通訊協定 。從本質上講，幾個應答響應可能結合在一起，成一個響應，減少協議開銷 。然而，在某些情況下，該技術可以降低應用程式的效能。方法和優勢RFC 1122中描述，主機可能延遲發送ACK響應到500毫秒。此外，收到一個完整大小的TCP報文段，就要發送ACK響應

1.概述光從字面上來理解，很容易讓一些初學者先入為主的認為：SecondaryNameNode(snn)就是NameNode(nn)的熱備進程。其實不是。snn是HDFS架構中的一個組成部分，但是經常由於名字而被人誤解它真正的用途，其實它真正的用途，是用來儲存namenode中對HDFS metadata的資訊的備份，並減少namenode重啟的時間。對於hadoop進程中 ，要配置好並正確的使用

GDB 是 linux 系統上常用的 c/c++ 調試工具，功能十分強大。對於較為複雜的系統，比如多進程系統，如何使用 GDB 調試呢？考慮下面這個三進程系統：進程 Proc2 是 Proc1 的子進程，Proc3 又是 Proc2 的子進程。如何使用 GDB 調試 proc2 或者 proc3 呢？實際上，GDB

1.連續記憶體序列容器(vector,string,deque)序列容器的erase方法傳回值是指向緊接在被刪除元素之後的元素的有效迭代器，可以根據這個傳回值來安全刪除元素。vector<int> c;for(vector<int>::iterator it = c.begin(); it != c.end();){if(need_delete())  it =

前言　  最近在項目中遇到大型程式出現SIGSEGV ，一直不知道用core dump工具來偵錯工具，花了近一周的時間，才定位問題，老大很生氣，後果很嚴重，呵呵，事後仔細學習了這塊的知識，瞭解一點core dump的知識。  在使用半導體作為記憶體的材料前，人類是利用線圈當作記憶體的材料（發明者為王安），線圈就叫作core ，用線圈做的記憶體就叫作“core

1.叢集配置 修改conf/hdfs-site.xml檔案 <property> <name>dfs.hosts.exclude</name> <value>/data/soft/hadoop/conf/excludes</value> <description>Names a file that contains a list of hosts that are not permitted to connect to

初始化和賦值// constructing vectors#include <iostream>#include <vector>using namespace std;int main (){ unsigned int i;// constructors used in the same order as described above: vector<int> first; //

選擇一個正確的名字是編程中最重要的事。以前酷殼向大家推薦過兩篇文章《編程命名中的7+1個提示》 和《編程中的命名設計那點事》，今天再向大家推薦一篇。一個正確的命名可以讓你更容易地理解代碼的程式，好的命名可以消除二義性，消除誤解，並且說明真實的意圖，甚至可以讓你有清新的氣息以讓你更能吸引異性。;-)方法，類和變數正確的名字可以讓你的程式顧名思義，下面是一些提示：不要使用”ProcessData()“這樣的命名你如果在你的程式生涯中使用這樣的函數名，那麼這意味著你將是一個不合格的程式員而會被淘汰或解

環境:      作業系統:ubuntu 12.10 64bit      jdk:sun jdk 1.6 64bit      hadoop:apache hadoop 1.02      hbase：apache hbase 0.92      先決條件:配置apache hadoop append,預設這個屬性是false，需要設定為true1）下載hbase 解壓到每台伺服器的/data/soft 解壓root@master:/data/soft# tar zxvf hbase-0.92

擷取預設配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個設定檔，預設下來，這些設定檔都是空的，所以很難知道這些設定檔有哪些配置可以生效，上網找的配置可能因為各個hadoop版本不同，導致無法生效。瀏覽更多的配置，有兩個方法:1.選擇相應版本的hadoop,下載解壓後，搜尋*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是預設配置,可以參考這些配

在我開始設計系統的時候，我會花去很多時間去設計命名，因為好的命名和好的設計是分不開的。In the beginning was the Word, and the Word was with God, and the Word was God太初有道。道與神同在，道就是神。

異常不可用於邏輯處理異常是錯誤處理，但是不可以用於邏輯處理，假設我們封裝了一個MsgQueue,這個類負責收集由服務端一條接受線程收集用戶端訊息，另一條背景工作執行緒負責取出訊息，並對訊息進行處理。class Msg {...};class MsgQueue {public:void put(Msg msg) throw (std::length_error); Msg get() throw (std::out_of_range);

前幾天Neo寫過《編程中的命名設計那點事》，這裡也有另外一篇和程式命名的文章，可以從另一個角度看看。1.- 變數應該是儘可能的望文知意好的變數： daysDateRange, flightNumber, carColor.壞的變數： days, dRange, temp, data,

1、dfs.hosts 記錄即將作為datanode加入叢集的機器列表2、mapred.hosts 記錄即將作為tasktracker加入叢集的機器列表3、dfs.hosts.exclude mapred.hosts.exclude 分別包含待移除的機器列表4、master 記錄運行輔助namenode的機器列表5、slave 記錄運行datanode和tasktracker的機器列表6、hadoop-env.sh 記錄指令碼要用的環境變數，以運行hadoop7、core-site.xml

基本上，ssh用戶端的詳細設定都放在 /etc/ssh/ssh_config 裡面！“/etc/ssh/ssh_config” 檔案是OpenSSH系統範圍的設定檔，允許你通過設定不同的選項來改變用戶端程式的運行方式。這個檔案的每一行包含“關鍵詞－值”的匹配，其中“關鍵詞”是忽略大小寫。下面列出來的是最重要的關鍵詞，用man命令查看協助頁（ssh (1)）可以得到詳細的列表。# Site-wide defaults for various optionsHost *ForwardAgent

STL好用是好用, 不慎的話相當危險, 尤其是俺們這些伺服器程式.     迭代器失效就不說了, 發生了就是個當機回檔的事, 慎之!    最近工作中看到了stl::sort排序導致的一個core, 問題的根源就是, stl::sort要求被排序的對象必須是順序確定的, 比如你在重載<操作符的時候class Test1 { int a; bool operator < (const Test1& rhs) { return this->a < rhs.a;