K-means演算法及文本聚類實踐

標籤：style   blog   http   color   使用   os   io   strong   

　　K-Means是常用的聚類演算法，與其他聚類演算法相比，其時間複雜度低，聚類的效果也還不錯，這裡簡單介紹一下k-means演算法，是一個手寫體資料集聚類的結果。 

基本思想

　k-means演算法需要事先指定簇的個數k，演算法開始隨機播放k個記錄點作為中心點，然後遍曆整個資料集的各條記錄，將每條記錄歸到離它最近的中心點所在的簇中，之後以各個簇的記錄的均值中心點取代之前的中心點，然後不斷迭代，直到收斂，演算法描述如下：

　　上面說的收斂，可以看出兩方面，一是每條記錄所歸屬的簇不再變化，二是最佳化目標變化不大。演算法的時間複雜度是O(K*N*T)，k是中心點個數，N資料集的大小，T是迭代次數。

最佳化目標

　　k-means的損失函數是平方誤差：

$$RSS_k=\sum_{x\in \omega _k}|x-u(\omega _k)|^2$$

$$RSS=\sum_{k=1}^{K}RSS_k$$

　　其中$\omega _k$表示第k個簇，$u(\omega _k)$表示第k個簇的中心點，$RSS_k$是第k個簇的損失函數，$RSS$表示整體的損失函數。最佳化目標就是選擇恰當的記錄歸屬方案，使得整體的損失函數最小。

中心點的選擇

　　k-meams演算法的能夠保證收斂，但不能保證收斂於全域最優點，當初始中心點選取不好時，只能達到局部最優點，整個聚類的效果也會比較差。可以採用以下方法：k-means中心點

　　1、選擇彼此距離儘可能遠的那些點作為中心點；

　　2、先採用層次進行初步聚類輸出k個簇，以簇的中心點的作為k-means的中心點的輸入。

　　3、多次隨機播放中心點訓練k-means，選擇效果最好的聚類結果

k值的選取

　　k-means的誤差函數有一個很大缺陷，就是隨著簇的個數增加，誤差函數趨近於0，最極端的情況是每個記錄各為一個單獨的簇，此時資料記錄的誤差為0，但是這樣聚類結果並不是我們想要的，可以引入結構風險對模型的複雜度進行懲罰：

　　$$K=min_k[RSS_{min}(k)+\lambda k]$$

　　$\lambda$是平衡訓練誤差與簇的個數的參數，但是現在的問題又變成了如何選取$\lambda$了，有研究[參考文獻1]指出，在資料集滿足高斯分布時，$\lambda=2m$，其中m是向量的維度。

　　另一種方法是按遞增的順序嘗試不同的k值，同時畫出其對應的誤差值，通過尋求拐點來找到一個較好的k值，詳情見下面的文本聚類的例子。 

k-means文本聚類

　　我爬取了36KR的部分文章，共1456篇，分詞後使用sklearn進行k-means聚類。分詞後資料記錄如下：

 　　使用TF-IDF進行特徵詞的選取，是中心點的個數從3到80對應的誤差值的曲線：

　　從中在k=10處出現一個較明顯的拐點，因此選擇k=10作為中心點的個數，下面是10個簇的資料集的個數。

{0: 152, 1: 239, 2: 142, 3: 61, 4: 119, 5: 44, 6: 71, 7: 394, 8: 141, 9: 93}

簇標籤產生

　　聚類完成後，我們需要一些標籤來描述簇，聚類完後，相當於每個類都用一個類標，這時候可以用TFIDF、互資訊、卡方等方法來選取特徵詞作為標籤。關於卡方和互資訊特徵提取可以看我之前的文章文本特徵選取，下面是10個類的tfidf標籤結果。

Cluster 0: 商家 商品 物流 品牌 支付 導購 網站 購物 平台 訂單
Cluster 1: 投資 融資 美元 公司 資本 市場 獲得 國內 中國 去年
Cluster 2: 手機 智能 硬體 裝置 電視 運動 資料 功能 健康 使用
Cluster 3: 資料 平台 市場 學生 app 移動 資訊 公司 醫生 教育
Cluster 4: 企業 招聘 人才 平台 公司 it 移動 網站 安全 資訊
Cluster 5: 社交 好友 交友 寵物 功能 活動 朋友 基於 分享 遊戲
Cluster 6: 記賬 理財 貸款 銀行 金融 p2p 投資 互連網 基金 公司
Cluster 7: 任務 協作 企業 銷售 溝通 工作 項目 管理 工具 成員
Cluster 8: 旅行 旅遊 酒店 預訂 資訊 城市 投資 開放 app 需求
Cluster 9: 視頻 內容 遊戲 音樂 圖片 照片 廣告 閱讀 分享 功能

實現代碼

#!--encoding=utf-8from __future__ import print_functionfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.feature_extraction.text import HashingVectorizerimport matplotlib.pyplot as pltfrom sklearn.cluster import KMeans, MiniBatchKMeansdef loadDataset():    ‘‘‘匯入文本資料集‘‘‘    f = open(‘36krout.txt‘,‘r‘)    dataset = []    lastPage = None    for line in f.readlines():        if ‘< title >‘ in line and ‘< / title >‘ in line:            if lastPage:                dataset.append(lastPage)            lastPage = line        else:            lastPage += line    if lastPage:        dataset.append(lastPage)    f.close()    return datasetdef transform(dataset,n_features=1000):    vectorizer = TfidfVectorizer(max_df=0.5, max_features=n_features, min_df=2,use_idf=True)    X = vectorizer.fit_transform(dataset)    return X,vectorizerdef train(X,vectorizer,true_k=10,minibatch = False,showLable = False):    #使用採樣資料還是未經處理資料訓練k-means，        if minibatch:        km = MiniBatchKMeans(n_clusters=true_k, init=‘k-means++‘, n_init=1,                             init_size=1000, batch_size=1000, verbose=False)    else:        km = KMeans(n_clusters=true_k, init=‘k-means++‘, max_iter=300, n_init=1,                    verbose=False)    km.fit(X)        if showLable:        print("Top terms per cluster:")        order_centroids = km.cluster_centers_.argsort()[:, ::-1]        terms = vectorizer.get_feature_names()        print (vectorizer.get_stop_words())        for i in range(true_k):            print("Cluster %d:" % i, end=‘‘)            for ind in order_centroids[i, :10]:                print(‘ %s‘ % terms[ind], end=‘‘)            print()    result = list(km.predict(X))    print (‘Cluster distribution:‘)    print (dict([(i, result.count(i)) for i in result]))    return -km.score(X)    def test():    ‘‘‘測試選擇最優參數‘‘‘    dataset = loadDataset()        print("%d documents" % len(dataset))    X,vectorizer = transform(dataset,n_features=500)    true_ks = []    scores = []    for i in xrange(3,80,1):                score = train(X,vectorizer,true_k=i)/len(dataset)        print (i,score)        true_ks.append(i)        scores.append(score)    plt.figure(figsize=(8,4))    plt.plot(true_ks,scores,label="error",color="red",linewidth=1)    plt.xlabel("n_features")    plt.ylabel("error")    plt.legend()    plt.show()    def out():    ‘‘‘在最優參數下輸出聚類結果‘‘‘    dataset = loadDataset()    X,vectorizer = transform(dataset,n_features=500)    score = train(X,vectorizer,true_k=10,showLable=True)/len(dataset)    print (score)#test()out()

　　本文完，歡迎留言交流。

參考文獻

　　[1].王斌. 資訊檢索導論

 

轉載請註明出處：http://www.cnblogs.com/fengfenggirl/