其他

錯誤提示如下：Exception in thread "main" java.lang.NoClassDefFoundError: SmailFileToBigFile/Texc_Mapper    at SmailFileToBigFile.TexcMR_Driver.TexcMR_DriverMain(TexcMR_Driver.java:29)    at Main.main(Main.java:43)    at sun.reflect.NativeMethodAccessorImpl.

hadoop@ubuntu:~/hadoop-0.20.2/bin$ ./hadoop jar ~/finger.jar Finger kaoqin output出現的錯誤：11/10/14 13:52:07 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.11/10/14 13:52:07

　　今天看Data-Intensive Text Processing with MapReduce

　　歸併排序是建立在歸併操作上的一種有效排序演算法。該演算法是採用分治法（Divide and Conquer）的一個非常典型的應用。　　歸併演算法的基本思想：申請空間，使其大小為兩個已經排序序列之和，該空間用來存放合并後的序列設定兩個指標，最初位置分別為兩個已經排序序列的起始位置比較兩個指標所指向的元素，選擇相對小的元素放入到合并空間，並移動指標到下一位置重複步驟3直到某一指標達到序列尾將另一序列剩下的所有元素直接複製到定序序列尾         

Save This PageHome » hadoop-0.14.4 » org.apache » hadoop » io » [javadoc | source] 看看這個源碼，應該就很明白了1   /** 2   * Licensed to the Apache Software Foundation (ASF) under one 3   * or more contributor license agreements. See the NOTICE file

a+b per line描述有時候你會遇到這樣的問題：你有一個表格，給出了每個人在十二月，一月和二月的收入。表格如下：name  Dec   Jan($)CM    200   314LY    2000  332QQM   6000  333ZYM   5000  333BP    30    12 你需要知道每個人這三個月的收入總和，那麼你就需要將表格中一行代表收入的數字相加.下面請編寫程式解決這個問題。輸入輸入只包含一個檔案，檔案中有一個表格，它的結構如下:1 200   3142 200

本程式的功能是對輸入的資料進行詞頻統計然後再根據詞頻大小對出現的單詞進行排列1.實現的map類                                                                                                                                                                                                          

import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapred.MapReduceBase;import org.apache.hadoop.mapred.Mapper;import

        hive是基於Hadoop的一個資料倉儲工具，可以將結構化的資料檔案映射為一張資料庫表，並提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合資料倉儲。hive

 搭建Hadoop/Hbase環境： 1.在Apache/Hadoop項目的網站(hadoop.apache.org/)下載hadoop以及hbase的發行包,此處兩個發行包的大版本號碼一定要一致,我使用的版本是0.20.1:   hadoop-0.20.1.tar.gz    hbase-0.20.1.tar.gz2. 我用的ubuntu9.04,首先安裝java虛擬機器,這個比較簡單,隨便找個綠色的解壓就可以了,我使用java-6-openjdk,配置系統的環境變數: 編輯全域環境變數檔案/

     1.對於某些應用而言，需要特殊的資料結構來儲存自己的資料。對於基於MapReduce的資料處理，將每個位元據的大對象融入自己的檔案中並不能實現很高的可擴充性，針對上述情況，Hadoop開發了一組更高層次的容器SequenceFile。     2.

一、給你1副撲克牌，你怎麼發牌給4個人？我：首先撲克牌可以排序，其次，可以每次產生1個隨機數，然後把該隨機數對應的牌發出去，每次發的牌輪流給第1個人、第2個人……奧，不對，這樣可能導致已經發出去的牌再次被發出去！（進入沉思~）他：Smilence...我：（隨即就給出可行的低效解） 可以這樣嘛，首先聲明，不考慮效率的前提下，可以這樣做：把每張牌維護成一個結點，串聯成一個鏈表。每次還是產生隨機數，對當前牌的張數取餘得到N，從單鏈表的頭結點開始next指標訪問N次，最終指向結點p，把p結點從鏈表中刪

轉載自

這裡我想討論下5個解決網頁去重的演算法，轉載自（http://blog.csdn.net/beta2/article/details/5014530）1. I-Match2. Shingliing3. SimHashing（ locality sensitive hash）4. Random Projection5. SpotSig6. combinedI-Match演算法 I-Match演算法有一個基本的假設說：不經常出現的詞和經常出現的詞不會影響文檔的語義，所以這些詞是可以去掉的。

學習了memcache，這是個好東西，分享一下自己的小執行個體，也方便以後尋找使用一、前期準備1)  下載memcached服務端memcached-1.2.6-win32-bin.zip，地址：http://code.jellycan.com/memcached/2)  下載java版用戶端 java_memcached-release_2.6.1.zip3)  解壓縮memcached-1.2.6-win32-bin.zip到指定目錄，例如：D:\memcached-1.2.6-win32

用easyui 的dataguid打造的介面，主要是學習了subgrid的試水，挺好用的 下面是js,  關鍵的一段，主要是要注意view: detailview下面開始的就是子表的一段，頁面我就不給了，很簡單的，有<table

原文地址；http://hi.baidu.com/befree2008wl/blog/item/dcbe864f37c9423caec3ab7b.html Hadoop API被分成（divide into）如下幾種主要的包（package）org.apache.hadoop.conf 定義了系統參數的設定檔處理API。org.apache.hadoop.fs 定義了抽象的檔案系統API。org.apache.hadoop.dfs HadoopDistributed File

1 <script type="text/javascript" src="jquery-1.7.1.min.js"></script> 2 3 <link href="jquery.jqplot.css" rel="stylesheet" type="text/css" /> 4 5 <script src="jquery.jqplot.js" type="text/javascript"></script> 6 7

這裡需要進行一點額外的工作才能使得URL識別hdfs的uri。我們要使用java.net.URL的 setURLStreamHandlerFactory()方法設定URLStreamHandlerFactory，這裡需要傳遞一個 FsUrlStreamHandlerFactory。這個操作對一個jvm只能使用一次，我們可以在靜態塊中調用。publicclass FIleSystemCat {/** * @param args * @throws IOException

本文引用自神之子《hadoop面試可能遇到的問題》Q1. Name the most common InputFormats defined in Hadoop? Which one is default ? Following 2 are most common InputFormats defined in Hadoop - TextInputFormat- KeyValueInputFormat- SequenceFileInputFormatQ2. What is the