分詞器比較

          分詞器的評測包括分詞結果、時間消耗和分詞效果，分詞效果分為好、較好、中差幾個等級。

          JE分詞器，也就是MMAnalyzer中文分詞器，採用基於詞典的正向最大匹配分詞演算法，比較適合做垂直搜尋和資訊挖掘。通過資料分析得知，其分詞效果好。

          PaodingAnalyzer中文分詞器使用字典分詞法和二元分詞法相結合，首先使用字典分詞法，當詞在字典中不存在的時候，使用二元分詞法進行分詞，分詞效果比較好。但是同樣存在二元切分資訊冗餘的缺點。

         IKAnalyzer中文分詞器採用字典分詞法並結合正反向全切分以及正反向最大匹配切分兩種分詞方法，分詞的準確性高。

     

            從表中可以看出CJKAnalyzer分詞器分詞速度最快，其次是PaodingAnalyzer，然後是MMAnalyzer，最慢的是IKAnalyzer。           綜合比較，CJKAnalyzer雖然分詞速度很快，但只是對文本進行簡單的二元切分，效果很差，如果追求分詞的速度可以使用PaodingAnalyzer；如果最求最好的分詞效果，可以使用MMAnalyzer或IKAnalyzer；如果想在速度和分詞效果方面取得一個平衡，則使用MMAnalyzer比較合適。