其他

#include "stdafx.h"#include <iostream>#include <string>using namespace std;class String{public:String(const char* str = NULL); // 建構函式String(const String& another); // 拷貝建構函式~String(); // 解構函式String& operator = (const String&

在平時我們可能經常使用ls和wc命令來統計某個檔案夾下指定類型檔案的個數。今天在使用的時候發現ls和ll出來的結果不一樣。dwapp@pttest1:/home/dwapp/joe.wangh/test>ll -h | wc -l4dwapp@pttest1:/home/dwapp/joe.wangh/test>ls | wc -l3dwapp@pttest1:/home/dwapp/joe.wangh/test>lsp1.py  p2.py  p3.py 一個是4，一個是3，

在分布式環境中，哪台伺服器犧牲都是常見的事情，犧牲不可怕，可怕的是你都沒有時刻準備好它們會犧牲。作為一個合格的分布式系統，HDFS當然時刻準備好了前赴後繼奮勇向前。HDFS有三類伺服器，每一類伺服器出錯了，都有相應的應急策略。。。a.

Apache 的開源項目 hadoop， 作為一個分布式儲存和計算系統，已經被業界廣泛應用。很多大型企業都有了各自基於 hadoop 的應用和相關擴充。當 1000+ 以上個節點的 hadoop 叢集變得常見時，叢集自身的相關資訊如何收集和分析呢？針對這個問題， Apache 同樣提出了相應的解決方案，那就是 chukwa。概述 chukwa 的官方網站是這樣描述自己的： chukwa 是一個開源的用於監控大型分布式系統的Tlog。這是構建在 hadoop 的 hdfs 和

SQOOP是一款開源的工具，主要用於在HADOOP與傳統的資料庫間進行資料的傳遞，下面從SQOOP使用者手冊上摘錄一段描述Sqoop is a tool designed to transfer data between Hadoop andrelational databases. You can use Sqoop to import data from arelational database management system (RDBMS) such as MySQL or

在複雜紛繁的分布式環境中，我們堅定的相信，萬事皆有可能。哪怕各個伺服器都舒舒服服的活著，也可能有各種各樣的情況導致網路傳輸中的資料丟失或者錯誤。並且在Distributed File

// 重載QLabel// diamond.h#pragma once#include <QtGui>class diamond : QLabel{Q_OBJECTpublic:diamond();~diamond();private:voidmousePressEvent ( QMouseEvent * event ); // 重載mousePressEvent函數private:voidchangeColor(bool

負載平衡負載的均衡，是分布式系統中一個永恒的話題，要讓大家各盡其力齊心幹活，發揮各自獨特的優勢，不能忙得忙死閑得閑死，影響戰鬥力。而且，負載平衡也是一個複雜的問題，什麼是均衡，是一個很模糊的概念。比如，在Distributed File

環境hbase-0.90.3hadoop-0.20.2一開始我用的是hadoop-0.21.0，搞了半天搞不好，日誌裡面報錯說串連的時候出錯2011-06-15 16:05:32,239 FATAL org.apache.hadoop.hbase.master.HMaster: Unhandled exception. Starting shutdown.java.io.IOException: Call to hadoop5/10.20.151.9:9000 failed on local

SQOOP是一款開源的工具，主要用於在HADOOP與傳統的資料庫間進行資料的傳遞，下面從SQOOP使用者手冊上摘錄一段描述Sqoopis a tool designed to transfer data between Hadoop and relational databases.You can use Sqoop to import data from a relational database management system(RDBMS) such as MySQL or

LINUX C 基於TCP/IP協議的SOCKET收發檔案的小例子。自己也弄的稀裡糊塗的...大致步驟：--------------------------------------------------------------------------------------------------------------------------     SERVER--------------------------------------------CLIENT1. RECV FILE

 鍵盤按下事件的對應的ASC碼不容易記，現在就把它寫下來，作為備份a-z：65-90ESC鍵 VK_ESCAPE (27)斷行符號鍵： VK_RETURN (13)TAB鍵： VK_TAB (9)Caps Lock鍵： VK_CAPITAL (20)Shift鍵： VK_SHIFT ($10/16)Ctrl鍵： VK_CONTROL (17)Alt鍵： VK_MENU (18)空格鍵： VK_SPACE ($20/32)退格鍵： VK_BACK (8)左徽標鍵： VK_LWIN

在Linux/Unix監控系統網卡的即時資料流量，iftop是個不錯的選擇她可以詳細到來源和目標及連接埠，iftop相比ifstat資訊更加的豐富，但是如果只監控網卡的流量ifstat當然是最佳選擇，可以從http://gael.roualland.free.fr/ifstat/下載，她還提供了window版本。ifstat--------報告介面狀態，是一個網路流量監測程式。能查看網卡的流出和流入的位元組.簡單描述：ifstat就像iostat/vmstat描述其它的系統狀況一樣，是一個統計網

如果一切都按部就班的進行，那麼整個作業的計算流程，應該是作業的提交 -> Map任務的分配和執行 ->Reduce任務的分配和執行-> 作業的完成。而在每個任務的執行中，又包含輸入的準備 -> 演算法的執行

所謂的“偽隨機數”指的並不是假的隨機數，這裡的“偽”是有規律的意思。其實絕對的隨機數只是一種理想狀態的隨機數，電腦只能產生相對的隨機數即偽隨機 數。電腦產生的偽隨機數既是隨機的又是有規律的 —— 一部份遵守一定的規律，一部份則不遵守任何規律。比如“世上沒有兩片形狀完全相同的樹葉”，這正點到了事物的特性 —— 規律性；但是每種樹的葉子都有近似的形狀，這正是事物的共性 ——

 svn+apache配置 ApacheSVNsubversion已安裝apache伺服器和svn。 接下來配置apache伺服器的httpd.conf： 1，找到以下兩行，將前面的#注釋去掉： Httpd.conf代碼  LoadModule dav_module modules/mod_dav.so   LoadModule dav_fs_module modules/mod_dav_fs.so  LoadModule dav_module

hadoop和hive的安裝方法我就不多了說了，不熟悉的同學可以參考一下下面的兩篇文章HADOOPhttp://yymmiinngg.iteye.com/blog/706699 HIVEhttp://hi.baidu.com/7636553/blog/item/91f8f2eb4a19c8c7d439c95f.html 前面的只是簡單的一個配置，更細節的一些參數以及功能設定需要自己去查閱官方文檔 一般情況下，我們是看不到HDFS中的內容的，只能用過hadoop帶有的一些命令去查詢，有時可能比較麻

在hive中，外表是個很重要的組成部分，通過外表可以很方便進行資料的共用。因為普通的表會將資料檔案拷貝自己的目錄下，這樣想要分享資料只能儲存多份資料。但是外表很好的解決了這個問題。CREATE EXTERNAL TABLE sunwg_test09(id INT, name string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘/t’LOCATION

Hadoop的初學者經常會疑惑這樣兩個問題：1.Hadoop的一個Block預設是64M，那麼對於一個記錄行形式的文本，會不會造成一行記錄被分到兩個Block當中？2.在把檔案從Block中讀取出來進行切分時，會不會造成一行記錄被分成兩個InputSplit，如果被分成兩個InputSplit，這樣一個InputSplit裡面就有一行不完整的資料，那麼處理這個InputSplit的Mapper會不會得出不正確的結果？

 5621轉換為16進位數的方法是“除16取餘”方法， 5621/16＝商351餘5，16進位最後一位為5 351/16＝商21餘15，16進位右邊第二位為F 21/16＝商1餘5，16進位右邊第三位為5 1/16＝商0餘1，16進位數右邊第四為為1 商0就不繼續除了  最後的結果為15F5#include <iostream>#include <string>using namespace std;// 整數轉換成字串string int2str( int num)