資料採礦-話題識別

簡單話題識別的處理步驟：1、tf-idf處理詞的值（idf為150萬篇博文的切詞）。2、切詞並進行統計詞頻，依照tf-idf計算該詞在向量中的維度值 。3、切分標題統計詞頻，標題的權重是3 （統計時，標題的實際詞頻*3） 。4、去掉非名詞的詞語，去掉一些自訂的無意義名詞（像“今，今天”，“時候”等） 。5、取前100個詞，組裝成向量 。6、對向量歸一化處理，目前做的是全部向量轉換成單位長度 1 。7、初始點設定，聚類，目前聚類的簇設定為10 ，質心計算採用的是各維度和取平均值,聚類迭代結束條件（變更的點數小於1個或者迭代次數超過200次）。8、對於每個簇進行統計：找出離簇的中心最近的20個向量（博文）；提取分散度（在該簇的多少篇文章中出現過）最高的20個詞。9、對每個文檔簇（博文）的評價指標：文章數、熱度（評論、點擊量的綜合） 。