大資料之文章分類

標籤：

記下來 不然以後又忘記了。

　　

AnalysisEntry:總體調動，調類的順序；
WordFrequenceInDoc:提取中文，分詞，去停詞，統計詞頻；
在去停詞時，要做一個詞庫，my.dic或者stopword.dic
WordCountsInDoc：統計每個文檔的單詞數目；
WordsInCorpusTFIDF: 統計單詞在多少個文檔出現，計算TFIDF,建立詞表；

SortTFIDF: 對TFIDF進行排序；

CombinationKey，類是合成一個鍵（兩個欄位或多個欄位合成為一個key），以鍵排序，在SortTFIDF中調用；
DefinedComparator 定義一個比較子，排序的時候就要調用此定義進行比較；
DefinedPartition 定義分區，Partitioner的作用是對Mappper產生的中間結果進行分區，以便將同一分組的資料交給同一個Reducer處理，它直接影響Reduce階段的負載平衡。這裡定義的DefinePartition就是為了按Key來分區；

DocVetorBuild :建立詞向量 這是因為在使用SVM演算法的時候，輸入時，使用的是向量
UseSVM :調用SVM演算法，進行分類；
SVM屬於監督類演算法，需要把資料做為兩部分，一部分時作為訓練集，一部分作為測試集（也就是說，
先人工分好一部分資料，作為標準訓練，而來新的資料的時候，就用來測試(預測)；

Test.java 用來測試一些功能，測試好後，在用；

大資料之文章分類