用主題模型可視化分析911新聞（Python版）

標籤：

本文由 伯樂線上 - 東狗 翻譯，toolate 校稿。未經許可，禁止轉載！
英文出處：blog.dominodatalab.com。歡迎加入翻譯小組。

本文介紹一個將911襲擊及後續影響相關新聞文章的主題可視化的項目。我將介紹我的出發點，實現的技術細節和我對一些結果的思考。

簡介

近代美國歷史上再沒有比911襲擊影響更深遠的事件了，它的影響在未來還會持續。從事件發生到現在，成千上萬主題各異的文章付梓。我們怎樣能利用資料科學的工具來探索這些主題，並且追蹤它們隨著時間的變化呢？

靈感

首先提出這個問題的是一家叫做Local Projects的公司，有人委任它們為紐約的國家911博物館設定一個展覽。他們的展覽，Timescape，將事件的主題和文章可視化之後投影到博物館的一面牆上。不幸的是，由於考慮到官僚主義的幹預和現代人的三分鐘熱度，這個展覽只能展現很多主題，快速迴圈播放。Timescape的設計給了我啟發，但是我想試著更深入、更有互動性，讓每個能接入互連網的人都能在空閑時觀看。

這個問題的關鍵是怎麼講故事。每篇文章都有不同的講故事角度，但是有線索通過詞句將它們聯絡到一起。”Osama bin Laden”、 “Guantanamo Bay”、”Freedom”，還有更多詞彙組成了我模型的磚瓦。

擷取資料

所有來源當中，沒有一個比紐約時報更適合講述911的故事了。他們還有一個神奇的API，允許在資料庫中查詢關於某一主題的全部文章。我用這個API和其他一些Python網路爬蟲以及NLP工具構建了我的資料集。

爬取過程是如下這樣的：

1. 調用API查詢新聞的中繼資料，包括每篇文章的URL。
2. 給每個URL發送GET請求，找到HTML中的本文，提取出來。
3. 清理文章文本，去除停用詞和標點

我寫了一個Python指令碼自動做這些事，並能夠構建一個有成千上萬文章的資料集。也許這個過程中最有挑戰性的部分是寫一個從HTML文檔裡提取本文的函數。近幾十年來，紐約時報不時也更改了他們HTML文檔的結構，所以這個抽取函數取決於笨重的嵌套條件陳述式：

123456789101112131415

# s is a BeautifulSoup object containing the HTML of the pageif s.find(‘p‘, {‘itemprop‘: ‘articleBody‘}) is not None:      paragraphs = s.findAll(‘p‘, {‘itemprop‘: ‘articleBody‘})    story = ‘ ‘.join([p.text for p in paragraphs])elif s.find(‘nyt_text‘):      story = s.find(‘nyt_text‘).textelif s.find(‘div‘, {‘id‘: ‘mod-a-body-first-para‘}):      story = s.find(‘div‘, {‘id‘: ‘mod-a-body-first-para‘}).text    story += s.find(‘div‘, {‘id‘: ‘mod-a-body-after-first-para‘}).textelse:      if s.find(‘p‘, {‘class‘: ‘story-body-text‘}) is not None:        paragraphs = s.findAll(‘p‘, {‘class‘: ‘story-body-text‘})        story = ‘ ‘.join([p.text for p in paragraphs])    else:        story = ‘‘

文檔向量化

在我們應用機器學習演算法之前，我們要將文檔向量化。感謝scikit-learn的IT-IDF Vectorizer模組，這很容易。只考慮單個詞是不夠的，因為我的資料集裡並不缺一些重要的名字。所以我選擇使用n-grams，n取了1到3。讓人高興的是，實現多個n-gram和實現單獨關鍵詞一樣簡單，只需要簡單地設定一下Vectorizer的參數。

123	vec = TfidfVectorizer(max_features=max_features,              ngram_range=(1, 3),            max_df=max_df)

開始的模型裡，我設定max_features（向量模型裡詞或片語的最大數量）參數為20000或30000，在我電腦的計算能力之內。但是考慮到我還加入了2-gram和3-gram，這些組合會導致特徵數量的爆炸（這裡面很多特徵也很重要），在我的最終模型裡我會提高這個數字。

用NMF做主題模型

非負矩陣分解（Non-negative Matrix Factorization，或者叫NMF），是一個線性代數最佳化演算法。它最具魔力的地方在於不用任何闡釋含義的先驗知識，它就能提取出關於主題的有意義的資訊。數學上它的目標是將一個nxm的輸入矩陣分解成兩個矩陣，稱為W和H，W是nxt的文檔-主題矩陣，H是txm的主題-詞語矩陣。你可以發現W和H的點積與輸入矩陣形狀一樣。實際上，模型試圖構建W和H，使得他們的點積是輸入矩陣的一個近似。這個演算法的另一個優點在於，使用者可以自主選擇變數t的值，代表產生主題的數量。

再一次地，我把這個重要的任務交給了scikit-learn，它的NMF模組足夠處理這個任務。如果我在這個項目上投入更多時間，我也許會找一些更高效的NMF實現方法，畢竟它是這個項目裡最複雜耗時的過程。實現過程中我產生了一個主意，但沒實現它，是一個暖開機的問題。那樣可以讓使用者用一些特定的詞來填充H矩陣的行，從而在形成主題的過程中給系統一些領域知識。不管怎麼樣，我只有幾周時間完成整個項目。還有很多其他的事需要我更多的精力。

主題模型的參數

因為主題模型是整個項目的基石，我在構建過程中做的決定對最終成果有很大影響。我決定輸入模型的文章為911事件發生18個月以後的。在這個時間段喧囂不再，所以這段時間出現的主題的確是911事件的直接結果。在向量化的階段，開始幾次啟動並執行規模受限於我的電腦。20或者30個主題的結果還不錯，但是我想要包含更多結果的更大模型。

我最終的模型使用了100000個向量詞彙和大約15000篇文章。我設定了200個主題，所以NMF演算法需要處理15000×100000, 15000×200和200×100000規模的矩陣。逐漸層換後兩個矩陣來擬合第一個矩陣。

完成模型

最終模型矩陣完成之後，我查看每個主題並檢查關鍵詞（那些在主題-詞語矩陣裡有最高機率值的）。我給每個主題一個特定的名字（在可視化當中可以用），並決定是否保留這個主題。一些主題由於和中心話題無關被刪除了（例如本地體育）；還有一些太寬泛（關於股票市場或者政治的主題）；還有一些太特定了，很可能是NMF演算法的誤差（一系列來源於同一篇文章中的有關聯的3-grams）

這個過程之後我有了75個明確和相關的主題，每個都根據內容進行命名了。

分析

主題模型訓練好之後，算出給定文章的不同主題的權重就很容易了：

1. 使用儲存的TF-IDF模型將文章文本向量化。
2. 算出這個向量和精簡過的NMF主題-詞語矩陣的點積。（1x100k * 100k x 75 = 1 x 75 ）
3. 結果向量的75個維度資料表示這篇文章和75個主題有多相關。

更難的部分在於決定怎麼把這些權重變成一個能講故事的可視化的形式。如果我只是簡單地將一段時期全部文章的話題權重加起來，這個分布應該是一個關於那段時間中每個主題出現頻率的準確表達。但是，這個分布的組成部分對人類來說毫無意義。換種方式想，如果我對每個主題做一個二分分類，我就能算出一段時間內和一個主題相關的文章百分數。我選擇了這個方法因為它更能說明問題。

話題二分分類也有難度，尤其是這麼多文章和話題的情況下。一些文章在很多主題下都有更高的權重，因為他們比較長並且包含的關鍵詞出現在不同主題裡。其他一些文章在大多主題下權重都很低，即使人工判斷都能發現它的確和某些主題相關。這些差別決定了固定權重閾值不是一個好的分類方法；一些文章屬於很多主題而一些文章不屬於任何主題。我決定將每篇文章分類到權重最高的三個主題下。儘管這個方法不完美，它還是能提供一個很好的平衡來解決我們主題模型的一些問題。

可視化

儘管資料擷取，主題模型和分析階段對這個項目都很重要，它們都是為最終可視化服務的。我努力平衡視覺吸引力和使用者互動，讓使用者可以不需指導地探索和理解主題的趨勢。我開始的圖使用的是堆疊的區塊，後來我意識到簡單的線畫出來就足夠和清晰了。

我使用d3.js來做可視化，它對本項目資料驅動的模式來說正合適。資料本身被傳到了網頁上，通過一個包含主題趨勢資料的CSV檔案和兩個包含主題和文章中繼資料的JSON檔案。儘管我不是前端開發的專家，我還是成功地通過一周的課程學習了足夠的d3，html和css知識，來構建一個令人滿意的可視化頁面。

一些有趣的主題

• 炭疽熱 – 911以後，恐慌情緒籠罩全國。幸運的是，大部分恐慌都是多慮了。2001年晚期的炭疽熱恐慌是一個沒有什麼後續影響的孤立事件，中清晰可見。

• 奧薩瑪本拉登，基地組織，托拉博拉 – 所有主題中關注的峰值發生在本拉登2011年在阿伯塔巴德被打死之後。這個話題組合值得注意，因為它展現了911事件後媒體關注的演化：最開始，本拉登獲得了很多關注。不久後，托拉博拉話題變得突出，因為托拉博拉是疑似本拉登的藏身地點和美軍的關注重點。當本拉登逃脫了追捕，這兩個話題的關注下降，而更寬泛的基地組織話題有些提升。近幾年每個話題的逐漸提升說明了它們的關聯性。儘管沒有顯著提升，它們相對的關注度還是在其他話題安靜時有所提升。

我學到了什麼

儘管我提出這個項目的時候就對主題模型和資料處理中的各個組分有瞭解，這個項目的真正意義在於它（再次）講出的故事。911事件的本質是消極的，但是也有許多積極的故事：許多英雄救了很多人，社區融合，以及重建。

不幸的是，在我主題模型中展現出來這樣的媒體環境：關注負能量、反派和破壞。當然，單獨的一些英雄在一兩篇文章中被讚揚了，但是沒有一個足夠廣來形成一個主題。另一方面，像奧薩瑪·本拉登和卡利亞·穆薩維這樣的反派在很多文章中被提及。即使是理查德·裡德，一個笨手笨腳的（試圖）穿炸彈鞋炸飛機的人，都比一些成功的英雄有更持久的媒體影響（一個補充：注重詞彙的主題模型的一個缺點就是，像Reid這樣普通的名字會導致談論不同人物的文章被聚集到一起。在這個例子裡，哈利·裡德和理查德·裡德）。

用主題模型可視化分析911新聞（Python版）