Hadoop自訂類型處理手機上網日誌

標籤：mit   tostring   rac   分析   let   sub   span   定義類   自訂   

job提交源碼分析

在eclipse中的寫的代碼如何提交作業到JobTracker中的哪？
(1)在eclipse中調用的job.waitForCompletion(true)實際上執行如下方法
　　connect();
　　info = jobClient.submitJobInternal(conf);
(2)在connect()方法中，實際上建立了一個JobClient對象。
　　在調用該對象的構造方法時，獲得了JobTracker的用戶端代理對象JobSubmissionProtocol。
　　JobSubmissionProtocol的實作類別是JobTracker。
(3)在jobClient.submitJobInternal(conf)方法中，調用了
　　JobSubmissionProtocol.submitJob(...),
　　即執行的是JobTracker.submitJob(...)。

 

Hadoop資料類型

1.Hadoop的資料類型要求必須實現Writable介面。
2.java基本類型與Hadoop常見基本類型的對照
　　　　Long　　　　LongWritable
　　　　Integer　　  IntWritable
　　　　Boolean　　 BooleanWritable
　　　　String　　　 Text

java類型如何轉化為hadoop基本類型？
　　　　調用hadoop類型的構造方法，或者調用set()方法。
　　　　　　new LongWritable(123L);

hadoop基本類型如何轉化為java類型？
　　　　對於Text，需要調用toString()方法，其他類型調用get()方法。

 

使用Hadoop自訂類型處理手機上網日誌

1、首先，將手機上網記錄檔HTTP_20130313143750.dat通過WinSCP工具複製到/usr/local目錄下

2、將記錄檔上傳到hdfs://chaoren:9000/wlan檔案夾下

 

記錄檔：

 記錄檔中各欄位含義：

 

 3、編寫Java代碼將記錄檔中想要的資料統計出來。

 

Hadoop自訂類型處理手機上網日誌