[轉]python進行中文文本聚類（切詞以及Kmeans聚類）

標籤：.sh   clu   知識   .com   語料庫   install   實踐   span   結構   

 

簡介

查看百度搜尋中文文本聚類我失望的發現，網上竟然沒有一個完整的關於Python實現的中文文本聚類（乃至搜尋關鍵詞python 中文文本聚類也是如此），網上大部分是關於文本聚類的Kmeans聚類的原理，Java實現，R語言實現，甚至都有一個C++的實現。

正好我寫的一些文章，我沒能很好的分類，我想能不能通過聚類的方法將一些相似的文章進行聚類，然後我再看每個聚類大概的主題是什麼，給每個聚類一個標籤，這樣也是完成了分類。

中文文本聚類主要有一下幾個步驟，下面將分別詳細介紹：

• 切詞
• 去除停用詞
• 構建詞袋空間VSM(vector space model)
• TF-IDF構建詞權重
• 使用K-means演算法

一、 切詞

這裡中文切詞使用的是結巴切詞，github項目首頁，作者微博

github項目首頁上有結巴切詞的詳細安裝方式，以及樣本說明，這裡不再詳述，一般情況下，可以使用如下方式安裝。

# pip install jieba

或者

# easy_install jieba

還可以參考一下文章： 
1.Python中文分片語件 jieba 
2.python 結巴分詞(jieba)學習

二、 去除停用詞

結巴分詞雖然有去除停用詞的功能，但是好像只是給jieba.analyse組建使用的，並不給jieba.cut使用，所以這裡我們還是要自己構建停用詞檔案，以及去除停用詞。 
常見的中文停用詞有： 
1. 中文停用詞表(比較全面,有1208個停用詞) 
2. 最全中文停用詞表整理（1893個）

實現代碼如下（代碼比較水）：

def read_from_file(file_name):    with open(file_name,"r") as fp:        words = fp.read()    return wordsdef stop_words(stop_word_file):    words = read_from_file(stop_word_file)    result = jieba.cut(words)    new_words = []    for r in result:        new_words.append(r)    return set(new_words)def del_stop_words(words,stop_words_set):#   words是已經切詞但是沒有去除停用詞的文檔。#   返回的會是去除停用詞後的文檔    result = jieba.cut(words)    new_words = []    for r in result:        if r not in stop_words_set:            new_words.append(r)    return new_words

 

 

三、 構建詞袋空間VSM(vector space model)

接下來是構建詞袋空間，我們的步驟如下 
1. 將所有文檔讀入到程式中，再將每個文檔切詞。 
2. 去除每個文檔中的停用詞。 
3. 統計所有文檔的詞集合（sk-learn有相關函數，但是我知道能對中文也使用）。 
4. 對每個文檔，都將構建一個向量，向量的值是詞語在本文檔中出現的次數。 
這舉個例子，假設有兩個文本，1.我愛上海，我愛中國2.中國偉大,上海漂亮 
那麼切詞之後就有一下詞語：我，愛，上海，中國，偉大，漂亮，,(逗號也可能被切詞)。 
再假設停用詞是我 ，，那麼去除停用詞後，剩餘的詞語就是 
愛，上海，中國，偉大，漂亮 
然後我們對文檔1和文檔2構建向量，那麼向量將如下：

文本	愛	上海	中國	偉大	漂亮
文檔1	2	1	1	0	0
文檔2	0	1	1	1	1

代碼如下：

def get_all_vector(file_path,stop_words_set):    names = [ os.path.join(file_path,f) for f in os.listdir(file_path) ]    posts = [ open(name).read() for name in names ]    docs = []    word_set = set()    for post in posts:        doc = del_stop_words(post,stop_words_set)        docs.append(doc)        word_set |= set(doc)        #print len(doc),len(word_set)    word_set = list(word_set)    docs_vsm = []    #for word in word_set[:30]:        #print word.encode("utf-8"),    for doc in docs:        temp_vector = []        for word in word_set:            temp_vector.append(doc.count(word) * 1.0)        #print temp_vector[-30:-1]        docs_vsm.append(temp_vector)    docs_matrix = np.array(docs_vsm)

 

1. 在python中表示可能如下[[2,1,1,0,0],[0,1,1,1,]]，我們儘可能將其放入到numpy的array或者matrix中方便下面TF-IDF的計算。

四、 將單詞出現的次數轉化為權值（TF-IDF）

換句話說，我們的vsm儲存的本來已經是向量的形式，我們為什麼還需要TF-IDF的形式呢？我認為這就是為了將單詞出現的次數轉化為權值。 
關於TF-IDF的介紹可以參考網上的文章： 
1. 基本文本聚類方法 
2. TF-IDF百度百科 
3. TF-IDF維基百科英文版(需要FQ)

這裡需要注意的是關於TF(term frequency)的計算，關於IDF(Inverse document frequency)的計算，我看公式基本上都是一樣的： 
逆向檔案頻率（inverse document frequency，IDF）是一個詞語普遍重要性的度量。某一特定詞語的IDF，可以由總檔案數目除以包含該詞語之檔案的數目，再將得到的商取對數得到： 

 

 

本公式用編輯，推薦一個令人驚歎的網站：Detexify 
其中 
：語料庫中的檔案總數 
：包含詞語的檔案數目（即的檔案數目）如果該詞語不在語料庫中，就會導致分母為零，因此一般情況下使用作為分母。

然而百度百科以及網上大部分關於TF的介紹其實是有問題的，TF-IDF百度百科中說詞頻（term frequency，TF）指的是某一個給定的詞語在該檔案中出現的頻率，那麼很明顯這個計算公式就為： 

 

 

然而這種計算方式常常會導致TF過小，其實TF-IDF並不是只有一種計算方式，而是多種，這個時候就體現出維基百科的威力了，具體的關於TF-IDF的介紹還是要參照維基百科。

如果不熟悉numpy，可以參考numpy官方文檔

column_sum = [ float(len(np.nonzero(docs_matrix[:,i])[0])) for i in range(docs_matrix.shape[1]) ]column_sum = np.array(column_sum)column_sum = docs_matrix.shape[0] / column_sumidf =  np.log(column_sum)idf =  np.diag(idf)# 請仔細想想，根絕IDF的定義，計算詞的IDF並不依賴於某個文檔，所以我們提前計算好。# 注意一下計算都是矩陣運算，不是單個變數的運算。for doc_v in docs_matrix:    if doc_v.sum() == 0:        doc_v = doc_v / 1    else:        doc_v = doc_v / (doc_v.sum())    tfidf = np.dot(docs_matrix,idf)    return names,tfidf

 

 

現在我們擁有的矩陣的性質如下，

• 列是所有文檔總共的詞的集合。
• 每行代表一個文檔。
• 每行是一個向量，向量的每個值是這個詞的權值。

五、 用K-means演算法進行聚類

到這個時候，我們可以使用kmeans演算法進行聚類，對kmeans演算法來說，它看到已經不是文本了，只是矩陣而已，所以我們用的也是通用的kmeans演算法就可以了。 
關於kmeans的介紹可以見於如下的文章： 
1. 基本Kmeans演算法介紹及其實現 
2. K-means百度百科 
3. 淺談Kmeans聚類 
所不同的是，在大部分的文本聚類中，人們通常用餘弦距離（很好的介紹文章）而不是歐氏距離進行計算，難道是因為疏鬆陣列的原因，我並不太明白。

下面的代碼來自《機器學習實戰》第十章的代碼：

def gen_sim(A,B):    num = float(np.dot(A,B.T))    denum = np.linalg.norm(A) * np.linalg.norm(B)    if denum == 0:        denum = 1    cosn = num / denum    sim = 0.5 + 0.5 * cosn    return simdef randCent(dataSet, k):    n = shape(dataSet)[1]    centroids = mat(zeros((k,n)))#create centroid mat    for j in range(n):#create random cluster centers, within bounds of each dimension        minJ = min(dataSet[:,j])         rangeJ = float(max(dataSet[:,j]) - minJ)        centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))    return centroidsdef kMeans(dataSet, k, distMeas=gen_sim, createCent=randCent):    m = shape(dataSet)[0]    clusterAssment = mat(zeros((m,2)))#create mat to assign data points                                       #to a centroid, also holds SE of each point    centroids = createCent(dataSet, k)    clusterChanged = True    counter = 0    while counter <= 50:        counter += 1        clusterChanged = False        for i in range(m):#for each data point assign it to the closest centroid            minDist = inf;             minIndex = -1            for j in range(k):                distJI = distMeas(centroids[j,:],dataSet[i,:])                if distJI < minDist:                    minDist = distJI;                     minIndex = j            if clusterAssment[i,0] != minIndex:                 clusterChanged = True            clusterAssment[i,:] = minIndex,minDist**2        #print centroids        for cent in range(k):#recalculate centroids            ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster            centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean     return centroids, clusterAssment

 

 

六、 總結

基本上到這裡為止，一個可用的中文文本聚類工具已經完成了，github項目地址。 
其效果到底怎麼樣呢？

我自己有一些未分類的文章屬於人生感悟（羞羞臉）類別的共有182篇，在切詞以及去除停用詞之後，共得到13202個詞語，我設定K=10，嗯，效果並不是太好，當然可能有一下原因：

• 文檔本身已經屬於高度分類的了，基於詞頻的聚類並不能發現關於這些文章間的細微的區別。
• 演算法需要最佳化，可能有些地方可以設定修改一下。

總之，在學習若干天機器學習後，第一次實踐之旅算是結束了。

 

本文轉載自：http://blog.csdn.net/likeyiyy/article/details/48982909

[轉]python進行中文文本聚類（切詞以及Kmeans聚類）