自然語言處理入門（6）——基於LDA的文章主題產生

1. LDA概述

LDA（Latent Dirichlet Allocation）是一種文檔主題產生模型，也稱為一個三層貝葉斯機率模型，包含詞、主題和文檔三層結構。所謂產生模型，就是說，我們認為一篇文章的每個詞都是通過“以一定機率選擇了某個主題，並從這個主題中以一定機率選擇某個詞語”這樣一個過程得到。文檔到主題服從多項式分布，主題到詞服從多項式分布。

LDA是一種非監督機器學習技術，可以用來識別大規模文檔集（document collection）或語料庫（corpus）中潛藏的主題資訊。它採用了詞袋（bag of words）的方法，這種方法將每一篇文檔視為一個詞頻向量，從而將文本資訊轉化為了易於建模的數字資訊。每一篇文檔代表了一些主題所構成的一個機率分布，而每一個主題又代表了很多單詞所構成的一個機率分布。

LDA模型的推導過程包括多項式分布、Dirichlet分布和Gibbs抽樣等。具體來說，主要在以下幾個方面有廣泛的應用：
（1）通過Dirichlet分布取樣獲得產生文檔的主題分布和產生主題的詞語分布。
（2）通過主題的多項式分布取樣，得到當前文檔的對應詞語的主題。
（3）通過詞語的多項式分布採樣，得到產生的詞語。 2. 基於LDA的文章主題產生

本文使用python下的lda庫來擷取語料庫和計算文章主題。

實現代碼如下所示：

# -*- coding: utf-8 -*-"""Created on Sun Aug 27 20:51:15 2017@author: Administrator"""import numpy as npimport ldaimport lda.datasets'''1.匯入資料來源'''#通過LDA庫內建的API介面調用路透社的資料titles = lda.datasets.load_reuters_titles()for i in range(395):    print(titles[i])'''2.求解P(詞語|主題),得到每個主題所包含的單詞的分布'''X = lda.datasets.load_reuters()vocab = lda.datasets.load_reuters_vocab()titles = lda.datasets.load_reuters_titles()#設定主題數目為20個，每個主題包含8個詞語，模型迭代次數為1500次model = lda.LDA(n_topics=20,n_iter=1500,random_state=1)model.fit(X)topic_word = model.topic_word_n_top_words = 8for i,topic_dist in enumerate(topic_word):    topic_words = np.array(vocab)[np.argsort(topic_dist)][:-(n_top_words+1):-1]    #輸出每個主題所包含的單詞的分布    print('Topic{}:{}'.format(i,''.join(topic_words)))'''3.求解P(主題|文檔),得到文章所對應的主題'''doc_topic = model.doc_topic_for i in range(20):    #輸出文章所對應的主題    print("{} (top topic:{})".format(titles[i],doc_topic[i].argmax()))

運行結果如下圖所示：

由上圖可知，調用的資料集文章數為395，文章單詞個數為84010，文章主題數為20個。部分文章的標題如下圖所示：

每個主題所包含的單詞的分布如下圖所示：

文章所對應的主題如下圖所示（部分，取前20篇文章）：