python小白也可以分分鐘爬取微博資料，並產生有個性的詞雲，你get到了嗎？

標籤：python 爬蟲 web開發 編程

Python（發音：英[?pa?θ?n]，美[?pa?θɑ:n]），是一種物件導向、直譯式電腦程式設計語言，也是一種功能強大的通用型語言，已經具有近二十年的發展曆史，成熟且穩定。它包含了一組完善而且容易理解的標準庫，能夠輕鬆完成很多常見的任務。它的文法非常簡捷和清晰，與其它大多數程式設計語言不一樣，它使用縮排來定義語句。

Python支援命令式程式設計、物件導向程式設計、函數式編程、面向切面編程、泛型程式設計多種編程範式。與Scheme、Ruby、Perl、Tcl等動態語言一樣，Python具備記憶體回收功能，能夠自動管理儲存空間使用。它經常被當作指令碼語言用於處理系統管理任務和網路程式編寫，然而它也非常適合完成各種進階任務。Python虛擬機器本身幾乎可以在所有的作業系統中運行。使用一些諸如py2exe、PyPy、PyInstaller之類的工具可以將Python原始碼轉換成可以脫離Python解譯器啟動並執行程式。

很早前寫過一篇怎麼利用微博資料製作詞雲圖片出來，之前的寫得不完整，而且只能使用自己的資料，現在重新整理了一下，任何的微博資料都可以製作出來，放在今天應該比較應景。

本文教你怎麼用Python快速建立出有心意詞雲，即使是Python小白也能分分鐘做出來。

準備工作

本環境基於Python3，理論上Python2.7也是可行的，先安裝必要的第三方依賴包：

requirement.txt檔案中包含上面的幾個依賴包，如果用pip方式安裝失敗，推薦使用Anaconda安裝

pip install -r requirement.txt

第一步：分析網址

開啟微博移動端網址 ，找到女神的微博ID，進入她的微博首頁，分析瀏覽器發送請求的過程

開啟 Chrome 瀏覽器的調試功能，選擇 Network 菜單，觀察到擷取微博資料的的介面是 ，後面附帶了一連串的參數，這裡面有些參數是根據使用者變化的，有些是固定的，先提取出來。

再來分析介面的返回結果，返回資料是一個JSON字典結構，total 是微博總條數，每一條具體的微博內容封裝在 cards 數組中，具體內容欄位是裡面的 text 欄位。很多幹擾資訊已隱去。

第二步：構建要求標頭和查詢參數

分析完網頁後，我們開始用 requests 類比瀏覽器構造爬蟲擷取資料，因為這裡擷取使用者的資料無需登入微博，所以我們不需要構造 cookie資訊，只需要基本的要求標頭即可，具體需要哪些頭資訊也可以從瀏覽器中擷取，首先構造必須要的請求參數，包括要求標頭和查詢參數。

uid是微博使用者的id，

· containerid雖然不什麼意思，但也是和具體某個使用者相關的參數

· page 分頁參數

python學習路線分三大階段：基礎-進階-架構-項目實戰

基礎第一階段：基礎Python的理解。基礎第二階段面對對象編程（注重編程能力）

基礎第三階段物件導向“設計思想”-封裝-繼承。基礎第四階段python進階專題。

進階班第一階段：linux基礎。第二：python web工具。第三python部署工具。

第四關係型資料庫。第五Python web架構基礎原理。

架構階段.python web開發第一階段web.py。基礎第二Django基礎。

第三flask基礎。第四tornado基礎，

項目實戰：個人部落格系統-開發-企業OA系統=網盤系統。

第三步：構造簡單爬蟲

通過返回的資料能查詢到總微博條數 total，爬取資料直接利用 requests 提供的方法把 json 資料轉換成 Python 字典對象，從中提取出所有的 text 欄位的值並放到 blogs 列表中，提取文本之前進行簡單過濾，去掉無用資訊。順便把資料寫入檔案，方便下次轉換時不再重複爬取。

第四步：分詞處理並構建詞雲

爬蟲了所有資料之後，先進行分詞，這裡用的是結巴分詞，按照中文語境將句子進行分詞處理，分詞過程中過濾掉停止詞，處理完之後找一張參照圖，然後根據參照圖通過詞語拼裝成圖。

最終：

哪些人比較適合學Python

1.編程菜鳥新手：非常喜愛編程，以後想從事相關工作，但是零基礎，不知道入門選擇什麼程式設計語言的朋友，其實是最適合選擇Python程式設計語言的。

2.網站前端的開發人員：平常只關注div+css這些頁面技術，很多時候其實需要與後端開發人員進行互動的;

3.SEO人員：很多SEO最佳化的時候，苦於不會編程，一些程式上面的問題，得不到解決，只能做做簡單的頁面最佳化。 現在學會Python之後，你和我一樣都可以編寫一些查詢收錄，排名，自動產生網路地圖的程式，解決棘手的SEO問題。

4.在校學生：想有一技之長，或者是自學編程的愛好者，希望快速入門，少走彎路，都可以選擇Python語言。

我有一個公眾號，經常會分享一些python技術相關的乾貨；如果你喜歡我的分享，可以用搜尋“python語言學習”關注。

歡迎大家加入千人交流答疑群：588+090+942

python小白也可以分分鐘爬取微博資料，並產生有個性的詞雲，你get到了嗎？