php爬蟲：百萬層級知乎使用者資料爬取與分析

php爬蟲：百萬層級知乎使用者資料爬取與分析

代碼託管地址：https://http://www.php.cn/hhqcontinue/zhihuSpider

文/Hector

這次抓取了110

萬的使用者資料，資料分析結果如下：

開發前的準備

安裝linux系統(Ubuntu14.04)，在VMWare虛擬機器下安裝一個Ubuntu;

安裝PHP5.6或以上版本;

安裝curl、pcntl擴充。

使用PHP的curl擴充抓取頁面資料

PHP的curl擴充是PHP支援的允許你與各種伺服器使用各種類型的協議進行串連和通訊的庫。

本程式是抓取知乎的使用者資料，要能訪問使用者個人頁面，需要使用者登入後的才能訪問。當我們在瀏覽器的頁面中點擊一個帳戶圖片連結進入使用者個人中心頁面的時候，之所以能夠看到使用者的資訊，是因為在點選連結的時候，瀏覽器幫你將本地的cookie帶上一齊提交到新的頁面，所以你就能進入到使用者的個人中心頁面。因此實現訪問個人頁面之前需要先獲得使用者的cookie資訊，然後在每次

