Python第三方庫____jieba

標籤：一個   第三方   bsp   原理   列表   pip   利用   之間   中文   

jieba是優秀的中文分詞第三方庫

       中文文本需要通過分詞獲得單個詞語

        jieba是優秀的中文分詞第三方庫，需要額外安裝  （pip install jieba）

        jieba庫提供三種分詞模式，最簡單只需掌握一個函數

jieba分詞原理

        利用一個中文詞庫，確定漢字之間的關係機率

        漢字之間機率大的組成片語，形成分詞結果

        除了分詞，使用者還可以添加自訂片語

jieba分詞三種模式

       精確模式、全模式、搜尋引擎模式

       精確模式：把文本精確的切分開，不存在冗餘單詞   （最常用）

       全模式：把文本中所有可能的詞語都掃描出來，有冗餘

       搜尋引擎模式：在精確模式基礎上，對長詞再次切分

jieba庫常用函數：

       jieba.lcut(s)         精確模式，返回一個清單類型的分詞結果                          l--> list   cut -- 分詞類型  精確模式

       jieba.lcut(s,cut_all=True)   全模式，返回一個清單類型的分詞，存在冗餘

      jieba.lcut_for_search(s)      搜尋引擎模式，返回一個清單類型的分詞結果，存在冗餘

      jieba.add_word(w)               向分詞詞典增加新詞w

 

Python第三方庫____jieba