其他

在用hadoop的streaming讀資料時，如果輸入是sequence file，如果用“-inputformat org.apache.hadoop.mapred.SequenceFileInputFormat”配置讀的話，讀入的資料顯示的話為亂碼，其實是因為讀入的還是sequence

安裝環境:          機器 只需要安裝一台機器      作業系統:Ubuntu 11.04 64作業系統      hadoop:版本是1.0.2,安裝在/usr/local/hadoop      sun jdk:版本是1.6.0_31 64bit,安裝在/usr/local/jdk      hive:版本是0.8.1,安裝在/usr/local/hive安裝步驟:1.下載     

安裝環境:          機器 只有一台機器      作業系統:Ubuntu 11.04 64作業系統      hadoop:版本是1.0.2,安裝在/usr/local/hadoop      sun jdk:版本是1.6.0_31 64bit,安裝在/usr/local/jdk    

網路　　基礎　　　　TCP Implementation in Linux: A Brief Tutorial　　　　基於tcpdump執行個體講解TCP/IP協議　　　　納格演算法　　　　TCP延遲確認　　　　糊塗視窗綜合症　　　　TCP慢啟動演算法　　　　擁塞避免演算法　　　　TCP的逾時與重傳　　　　快速重傳與快速恢複演算法　　　　TCP的堅持定時器　　編程　　　　TCP用戶端和服務端入門　　　　　　Linux/Unix服務端和用戶端Socket編程入門執行個體　　　　IO複用　　　　　　

前言簡單的來說，SSH 是 Secure SHell protocol 的簡寫 (安全的殼程式協議)，它可以透過資料封包加密技術，將等待傳輸的封包加密後再傳輸到網路上， 因此，資料訊息當然就比較安全囉！這個 SSH 可以用來取代較不安全的 finger, R Shell (rcp, rlogin, rsh 等), talk 及 telnet 等聯機模式。啟動ssh伺服器事實上，在我們使用的 Linux 系統當中，預設就已經含有 SSH

前言本文基於實際Linux管理工作，執行個體講解工作中使用ssh認證登入的實際流程，講解ssh認證登入的配置原理，基於配置原理，解決實際工作中，windows下使用SecureCRT認證登入的各種問題，以及實現hadoop叢集部署要求的無密碼跳轉問題。ssh有密碼登入和認證登入，初學者都喜歡用密碼登入，甚至是root賬戶登入，密碼是123456。但是在實際工作中，尤其是互連網公司，基本都是認證登入的。內網的機器有可能是通過密碼登入的，但在外網的機器，如果是密碼登入，很容易受到攻擊，真正的生產環境

Datanode在把資料實際儲存之前會驗證資料的校正和.client通過pipeline把資料寫入datanode. 最後一個datanode會負責檢查校正和.當client從datanode讀取資料時,也會檢查校正和: 把真實資料的校和合約datanode上的校正和進行比較. 每個datanode都儲存有一個checksum驗證的持久化日誌,日誌中有當前datanode每個block最後的更新時間.當client成功驗證了一個block, 它會告訴datanode,

namenode磁碟: sas帶RAID,多磁碟隱藏檔系統元資訊.datanode配置: 不帶RAID, 雙網卡: 一個用於內部資料轉送，一個用於外部資料傳輸.hadoop各節點的分布:namenode和jobtracker部署:namenode與jobtracker分離.tasktracker與datanode配對.Trash: 

隨著MapReduce的流行，其開源實現Hadoop也變得越來越受推崇。在Hadoop系統中，有一個組件非常重要，那就是調度器，它的作用是將系統中閒置資源按一定策略分配給作業。在Hadoop中，調度器是一個可插拔的模組，使用者可以根據自己的實際應用要求設計調度器。Hadoop中常見的調度器有三種，分別為：（1）預設的調度器FIFOHadoop中預設的調度器，它先按照作業的優先順序高低，再按照到達時間的先後選擇被執行的作業。（2） 計算能力調度器Capacity

前言使用hive，我們很多情況下會並發調用hive程式，將sql任務轉換成mapreuce提交到hadoop叢集中，而在本人使用hive的過程中，發現並發調用hive有幾個問題,在這個和大家分享下.本文預設安裝hive，hive是使用derby記憶體資料庫儲存hive的中繼資料，這樣是不可以並發調用hive的，需要配置為使用mysql儲存hive的中繼資料。 運行hive，可以有以下訪問方式:1.hiveserver:hive以thrift服務的伺服器形式運行，允許不同的語言編寫用戶端進行訪問，

前言crontab是Unix和Linux用於設定周期性被執行的指令，是互連網很常用的技術，很多任務都會設定在crontab迴圈執行，如果不使用crontab，那麼任務就是常駐程式，這對你的程式要求比較高，一個要求你的程式是24X7小時不宕機，一個是要求你的發送器比較可靠，實際工作中，90%的程式都沒有必要花這麼多時間和精力去解決上面的兩個問題的，只需要寫好自己的商務邏輯，通過crond這個工業級程式去調度就行了，crond的可靠性，健壯性，大家應該是毫無疑問的。crontab簡易入門假設我要設定

mapreduce的一個完整作業流程是怎麼樣的呢，相信剛接觸hadoop,剛寫mapreduce的初學者都有很大的困擾，下面的圖來自http://horicky.blogspot.com/2008/11/hadoop-mapreduce-implementation.html，是我看到的講MapReduce最好的圖。 以Hadoop帶的wordcount為例子（下面是啟動行）： hadoop jar hadoop-0.19.0-examples.jar wordcount /usr/input

當你登入遠程伺服器時，本機會主動的用接收到的伺服器的 public key 去比對 ~/.ssh/known_hosts 有無相關的公開金鑰， 然後進行底下的動作：若接收的公開金鑰尚未記錄，則詢問使用者是否記錄。若要記錄 (範例中回答 yes 的那個步驟) 則寫入 ~/.ssh/known_hosts 且繼續登入的後續工作；若不記錄 (回答 no) 則不寫入該檔案，並且離開登入工作；若接收到的公開金鑰已有記錄，則比對記錄是否相同，若相同則繼續登入動作；若不相同，則出現警告資訊，

需求情境:統計每日使用者登陸總數每分鐘的原始日誌內容如下:http://www.blue.com/uid=xxxxxx&ip=xxxxxx假設只有兩個欄位,uid和ip,其中uid是使用者的uid，是使用者的唯一標識，ip是使用者的登陸ip，每日的記錄行數是10億，要統計出一天使用者登陸的總數。處理流程建表那麼我們首先要在hive裡建表，建表語句如下:CREATE TABLE login ( uid STRING, ip STRING)PARTITIONED BY (dt

Hadoop作為大資料存放區及計算領域的一顆明星，目前已經得到越來越廣泛的應用。下面PPT主要分析了Hadoop的一些典型應用情境，並對其進行了深入分析，主要包括下面幾個方面：Tlog: Hadoop擅長這個抓住本拉登: 並行計算ETL: 每個人幾乎都在做ETL（Extract-Transform-Load）工作 Netezza關於使用Hadoop做ETL任務的看法)使用HBase做資料分析: 用擴充性應對大量的寫操作—Facebook構建了基於HBase的即時資料分析系統機器學習:

 一、從Map到ReduceMapReduce其實是分治演算法的一種實現，其處理過程亦和用管道命令來處理十分相似，一些簡單的文本字元的處理甚至也可以使用Unix的管道命令來替代，從處理流程的角度來看大概如下：cat input | grep | sort | uniq -c | cat > output# Input -> Map -> Shuffle & Sort -> Reduce ->

前言很多人安裝虛擬機器的時候，經常遇到不能上網的問題，而vmware有三種網路模式,對初學者來說也比較眼花聊亂，今天我就來基於虛擬機器3種網路模式，幫大家普及下虛擬機器上網的背景知識。(博文原創自http://www.cnblogs.com/ggjucheng/archive/2012/08/19/2646007.html)虛擬機器網路模式無論是vmware,virtual box,virtual

檔案的許可權分為三種:(1)使用者(2)群組(3)其他人檔案擁有者初次接觸Linux的朋友大概會覺得很怪異，怎麼『Linux有這麼多使用者， 還分什麼群組，有什麼用？』。這個『使用者與群組』的功能可是相當健全而好用的一個安全防護呢！怎麼說呢？ 由於Linux是個多人多任務的系統，因此可能常常會有多人同時使用這部主機來進行工作的情況發生，

文章目錄   

檔案異地直接複製： scpSCP的全稱是secure copy (remote file copy program)，此命令是openssh-clients附帶的,它的作用就是在機器之間實現拷貝，且機器之間的傳輸完全是加密的。最簡單的 scp 用法如下：[root@www ~]# scp [-pr] [-l 速率] file [帳號@]主機:目錄名 <==上傳[root@www ~]# scp [-pr] [-l 速率] [帳號@]主機:file 目錄名 <==下載選項與參數：-