python利用jieba進行中文分詞去停用詞，pythonjieba

python利用jieba進行中文分詞去停用詞，pythonjieba

中文分詞(Chinese Word Segmentation) 指的是將一個漢字序列切分成一個一個單獨的詞。 分詞模組jieba，它是python比較好用的分詞模組。待分詞的字串可以是 unicode 或 UTF-8 字串、GBK 字串。注意：不建議直接輸入 GBK 字串，可能無法預料地錯誤解碼成 UTF-8 支援三種分詞模式 1 精確模式，試圖將句子最精確地切開，適合文本分析； 2 全模式，把句子中所有的可以成詞的詞語都掃描出來, 速度非常快，但是不能解決歧義； 3 搜尋引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用於搜尋引擎分詞。   # 精確模式seg_list = jieba.cut("我去過清華大學和北京大學。") # 全模式seg_list = jieba.cut("我去過清華大學和北京大學。", cut_all=True) # 搜尋引擎模式seg_list = jieba.cut_for_search("我去過清華大學和北京大學。")   #精確模式: 我/ 去過/ 清華大學/ 和/ 北京大學/ 。 #全模式: 我/ 去過/ 清華/ 清華大學/ 華大/ 大學/ 和/ 北京/ 北京大學/ 大學/ / #搜尋引擎模式: 我/ 去過/ 清華/ 華大/ 大學/ 清華大學/ 和/ 北京/ 大學/ 北京大學/

#coding=utf-8 import jieba. analyse stopwords=[] for word in open('stopwords.txt','r'): stopwords.append(word.strip()) article=open('1.txt','r').read() words=jieba.cut(article,cut_all=False) stayed_line="" for word in words: if word.encode("utf-8")not in stopwords: stayed_line+=word+" " print stayed_line w=open('2.txt','w') w.write(stayed_line.encode('utf-8'))